지식 증류 효율 극대화하는 'D^3-MOPD' 스케줄러 연구

요약

기존의 다중 교사 온-폴리시 증류(MOPD)는 도메인별 학습 속도 차이를 고려하지 않은 고정된 데이터 혼합 방식을 사용하여 연산 효율이 떨어지는 문제가 있었다. 이를 해결하기 위해 제안된 D^3-MOPD는 학습 과정에서 생성되는 역 KL 발산 신호를 활용해 실시간으로 도메인 샘플링 비율을 조정하는 제로 오버헤드 스케줄러다. 별도의 오프 프로세스 감시자가 각 도메인의 KL 궤적을 추적하여 개선 여력을 판단하고 학습 루프 변경 없이 동적으로 데이터 혼합을 최적화한다. 4개의 도메인 전문가 교사로부터 Qwen3.6-35B-A3B 학생 모델을 증류한 결과, D^3-MOPD는 기존 MOPD 대비 학생-교사 성능 격차를 97%까지 해소했다. 또한 동일한 최고 성능 도달 시 롤아웃 단계를 약 3배 줄였으며, 7개 벤치마크 중 3개에서 전문 교사 모델의 성능을 능가했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.