참고팁HF Papers
ReMaRk: LLM 추천 시스템의 강화학습 효율성을 높이는 새로운 학습 프레임워크
추천 시스템 RL 학습 시 노이즈를 제거하여 학습 비용을 절감하고 성능을 최적화하는 구체적인 방법론.
요약
LLM 추천 시스템 학습 시 기존 Rank-GRPO 방식은 하나의 응답만을 보상 기준으로 삼아 모델이 응답 선택 자체에 과도하게 의존하는 문제를 겪는다. 이에 대한 대안으로 제안된 ReMaRk는 개별 응답 대신 모든 응답의 집합을 기준으로 보상을 산정하고 요청 단위로 학습을 진행하여 RL 효율을 개선한다. 7개 백본 모델과 3개 데이터셋에서 검증한 결과, ReMaRk는 기존 방식 대비 25~53% 적은 학습 단계로 동일한 수준의 검증 recall을 달성했다. 또한 학습을 끝까지 진행했을 때도 Rank-GRPO와 대등한 성능을 보이면서 GPU 비용을 절감하는 효과를 확인했다. 이번 연구는 ProtoQA와 같이 여러 개의 유효한 정답이 존재하는 환경에서 개별 응답이 아닌 응답들의 집합을 공동으로 보상하는 것이 효과적임을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
원문 보기 ↗