Gated On-Policy Distillation: Qwen3(큐원 3) 모델 기반 RL 성능 개선 연구

요약

Waypoint-OPD(Waypoint-guided On-Policy Distillation)는 강화학습(RL) 과정에서 발생하는 교사 모델의 정책 변화를 학생 모델로 효율적으로 전이하는 새로운 증류 기법이다. 기존 엔드포인트 정책 변화 방식은 학습 초기와 후기의 정책 변화가 상쇄될 경우 정보의 일관성을 놓칠 수 있다는 한계가 있었다. 이를 해결하기 위해 Waypoint-OPD는 학습 중간 체크포인트를 활용하여 초기와 후기 정책 변화의 방향성을 비교하고, 일치하지 않는 경우 변화 전이를 억제하는 게이팅 메커니즘을 적용한다. Qwen3-4B 교사 모델을 활용해 Qwen3-8B, 14B, 30B-A3B 학생 모델을 대상으로 수학 및 코드 추론 성능을 검증한 결과, 모든 설정에서 기존 방식 대비 가장 높은 도메인 평균 점수를 기록했다. 연구진은 ablation study를 통해 게이팅 메커니즘이 제거되거나 순서가 섞일 경우 수학적 추론 성능이 저하됨을 확인하며 해당 방식의 유효성을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.