[논문] 증류 학습에서의 롤아웃 정책 및 KL 방향성 분석: Llama3(라마 3), Qwen2.5(큐원 2.5) 실험

요약

최근 On-policy 학습이 망각을 줄이고 일반화 성능을 높인다는 통념과 달리, 본 연구는 강 대 약(strong-to-weak) 증류 환경에서 rollout 정책이 핵심 요인이 아님을 밝혀냈다. Llama3와 Qwen2.5 모델을 대상으로 과학, 의학, 산수 등 다양한 추론 과제를 수행한 결과, 토큰 단위의 KL 방향과 학습률이 성능 및 출력 범위에 더 결정적인 영향을 미치는 것으로 나타났다. 특히 Forward KL은 rollout 정책 변화에 관계없이 안정적인 성능을 보인 반면, Reverse KL은 학생 모델이 생성한 rollout에 더 민감하게 반응했다. 온-정책 데이터가 산수 과제에서 일반화 성능을 일부 개선하는 효과는 있었으나, RLVR 이후에는 이러한 이점이 일관되게 유지되지 않았다. 결론적으로 연구진은 온-정책 rollout이 항상 우월하다는 기존 견해를 반박하며, 그 가치는 목적 함수와 평가 환경, 최적화 하이퍼파라미터에 따라 달라진다고 강조했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.