[논문] 에이전트의 사후 경험을 예측 신호로 전환하는 'Self-Retrospection Distillation' 공개

요약

강화학습에서 보상 신호가 부족한 경우 에이전트 학습에 어려움이 발생하는 문제를 해결하기 위해 'Self-Retrospection Distillation(SRD)' 방법론이 제시되었습니다. SRD는 에이전트의 사후 경험(hindsight)을 분석하여 행동 전 예측(foresight)을 지도하는 '잠재적 학습(prospective learning)' 방식을 활용합니다. 완료된 궤적에서 얻은 지식을 정책의 사전 예측 모델로 증류하며, 이 과정은 추론 시점이 아닌 학습 단계에서만 타겟으로 활용됩니다. 10개의 도구 통합 추론 및 장기 에이전트 작업에서 검증한 결과, SRD는 기존 RLVR 대비 최대 24.2%p의 성능 향상을 보였습니다. 특히 37~98%의 롤아웃 그룹에서 보상 변별력이 없는 환경에서도 SRD는 유의미한 학습 신호를 추출했습니다. 실제로 2B 모델 설정에서 98%가 실패하는 환경일 때, RLVR은 0.0% 성공률을 보였으나 SRD를 추가하면 60.6%의 성공률을 달성했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.