학습 데이터 질 높이는 'CriticOPD' 기법 등장

요약

On-policy distillation(OPD)은 학생 모델이 생성한 토큰을 교사 모델이 감독하는 방식이나, 교사 모델이 학생의 오류를 따라가는 '회복 가능성(recoverability) 부재' 문제가 존재합니다. 이를 해결하기 위해 제안된 CriticOPD는 교사 모델이 학생의 오답을 비평(critique)하고 학생이 이를 바탕으로 답변을 수정하도록 유도하여 신뢰할 수 있는 감독을 복구합니다. 수정 과정에서 비평 내용을 특권 정보(privileged information)로 활용해 점수를 매기고, 학생 모델은 비평 없이 수정된 답변만을 학습에 사용합니다. Qwen3 모델을 활용한 6개 수학적 추론 벤치마크 실험 결과, 기존 OPD 대비 성능이 향상되었으며 특히 고난도 경진대회 문제에서 큰 성과를 보였습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.