LLM 학습 효율화: 'Self-Distillation with Verbal Regularization(VRSD)' 기법 공개

요약

On-policy self-distillation(OPSD)은 검증된 솔루션과 같은 특권 정보(Privileged Information, PI)를 활용해 교사 모델이 학생 모델을 학습시키는 방식이지만, 때로 성급한 추론이나 출력 분포의 엔트로피 급락을 유발하는 한계가 있다. 이를 개선하기 위해 제안된 Self-Distillation with Verbal Regularization(VRSD)은 시스템 프롬프트를 통해 교사 모델이 PI를 사용하는 방식을 조절함으로써, 모델이 성급하게 결론을 내리지 않고 재고 및 탐색을 하도록 유도한다. 이론적으로 프롬프팅은 교사 분포에 미치는 PI의 영향력을 약화시켜 엔트로피를 보존하는 역할을 수행한다. 3개 모델과 4개 작업에 걸쳐 실험한 결과, VRSD는 총 12개의 설정 중 11개에서 OPSD 대비 Pass@1 성능을 평균 3.9%p 향상시켰다. 또한 VRSD는 학습 과정 전반에 걸쳐 더 높은 토큰 엔트로피를 유지하며 보다 안정적인 학습 결과를 보였다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.