참고X
On-Policy Distillation의 효과 분석: '노이즈 많은 선생'에서 '자기 개선'으로
모델 증류(Distillation)의 효율성을 개선하기 위한 최신 연구. 프레임워크 최적화 시 참고할 가치가 있음.
원문 제목 @_akhaliq: Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement paper: https://t.co/M1O5lsPfkG https://t.co/DOr
원문 보기 ↗