참고HF Papers
Masked Diffusion 언어 모델 학습 효율화 방법론 'Pivot-SD' 공개
기존 SFT 및 RL 대비 적은 리소스로 수학·코딩 벤치마크 성능을 개선하는 효율적인 셀프 디스틸레이션 기법.
요약
Masked diffusion language models(dLMs)은 병렬 처리 능력으로 주목받지만, 디노이징 과정에서 핵심 토큰을 결정하는 신용 할당에 어려움을 겪어왔다. 이에 대응해 제안된 Pivot-SD는 불확실성을 크게 줄이는 고영향 토큰인 '피벗(pivot)'만을 선별해 학습시키는 효율적인 오프라인 자기 증류 프레임워크다. 이 모델은 정보 획득 지표를 활용해 피벗을 선택하며, 성공적인 궤적의 피벗은 교차 엔트로피로, 실패한 궤적의 피벗은 목표 지정 불가능 학습(targeted unlikelihood)으로 정밀하게 훈련한다. 단 200개의 질문과 4개의 롤아웃만을 사용했음에도 LLaDA-8B-Instruct 모델에서 전체 시퀀스 SFT나 예산이 동일한 기존 diffusion RL 베이스라인보다 수학 및 코드 벤치마크 성능이 향상되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
원문 보기 ↗