Multi-Token Prediction(MTP) 성능 개선 기법 'Soft-MTP' 공개

요약

최신 연구를 통해 기존 Multi-Token Prediction(MTP) 방식이 가진 그래디언트 손실 문제를 해결한 'Soft-MTP'가 제안되었습니다. 표준 MTP 그래디언트는 추론 가속에 유용한 KL self-distillation 신호를 노이즈가 섞인 잔차 뒤에 숨겨 다음 토큰 예측 성능을 저해하는 경향이 있습니다. 연구진은 'h_ntp += h_mtp.detach() - h_mtp'라는 단 한 줄의 코드 변경만으로 KL 그래디언트를 복구하는 트릭을 적용했습니다. 이를 통해 제안된 Soft-MTP는 추가 비용 없이 다양한 작업에서 성능 향상을 이끌어내는 '공짜 점심'과 같은 효과를 제공합니다. 관련 코드와 논문은 GitHub 및 ArXiv를 통해 공개되어 실무 활용이 가능합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.