참고HF Papers
On-Policy Distillation은 과연 효과적인가? 최신 연구 분석과 OPSA 방법론
기존의 On-Policy Distillation이 노이즈 억제 수준에 불과할 수 있다는 분석과 함께, 더 효율적인 OPSA 학습 기법을 제시함.
요약
On-policy distillation(OPD)은 강화학습의 희소한 보상 문제를 해결하기 위해 고안되었으나, 연구 결과 교사 모델의 지도 신호에는 상당한 노이즈가 포함되어 있는 것으로 나타났다. 분석 결과 OPD의 성능 향상은 교사의 지도가 아닌, 확률이 낮은 토큰을 억제하는 과정에서 주로 기인하며 고정된 음의 어드밴티지를 사용하는 것만으로도 교사 모델과 유사한 성능을 낼 수 있다. 이에 따라 연구진은 교사 없이 엔트로피 적응형 음의 어드밴티지를 활용해 학습하는 'On-Policy Self-Adaptation(OPSA)' 기법을 제안했다. OPSA는 엔트로피가 높은 위치에 강력한 학습 신호를 부여해 꼬리 토큰을 억제하고 확률 분포를 최적화한다. Qwen3-1.7B 모델 기반 실험에서 OPSA는 AIME24 기준 Avg@32 점수를 35.41점 향상시켜 263%의 상대적 개선을 보였으며, 기존 OPD 기법보다 16.77점 더 높은 성능을 기록했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
원문 보기 ↗