[논문] 온폴리시 증류 효율을 높이는 토크나이저 정렬 전략

요약

본 논문은 온-폴리시 증류(On-Policy Distillation, OPD)에서 서로 다른 토크나이저를 사용할 때 발생하는 정렬 문제를 다루며, 학습 효율을 높이기 위해 정렬 범위 확대보다 감독의 신뢰성(Supervision Reliability)을 우선시해야 한다고 제안한다. 수학적 추론 및 코드 생성 과제에서 실험한 결과, 엄격한 1:1 토큰 매칭만으로도 대부분의 학생 생성 토큰을 포괄할 수 있음을 확인했다. 연구진은 공유 어휘 내에서 상위 16개 토큰에 대해서만 역방향 KL 발산을 적용하는 방식이 전체 공유 어휘를 사용하는 방식과 대등한 성능을 보이며 기존 교차 토크나이저 베이스라인을 능가함을 입증했다. 반면, 불일치 그룹에 평균 제곱 오차(MSE)를 추가하여 감독 범위를 넓히는 시도는 오히려 정확도를 저하시키는 현상을 보였다. 이는 불완전하게 정렬되거나 상충하는 학습 신호를 포함하는 것보다, 엄격하게 정렬된 위치에서 압축된 감독 신호를 제공하는 것이 학습에 더 효과적임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.