참고HF Papers
MoE 모델의 FP4 RL 학습 효율 높이는 'TRACE' 공개
학습 및 롤아웃 간 양자화 오차를 줄여 FP4 환경에서도 BF16 수준의 성능을 유지하며 5.4배 빠른 훈련 가능.
요약
대규모 언어 모델(LLM)의 강화학습(RL) 과정에서 발생하는 연산 및 메모리 비용을 줄이기 위해 FP4 정밀도를 활용하는 'TRACE(Train-Rollout Quantization Alignment via Compact GuidancE)' 프레임워크가 제안되었습니다. TRACE는 훈련 경로와 롤아웃 경로의 양자화 불일치를 줄이기 위해 롤아웃 단계의 양자화 결과를 훈련 단계의 FP4 반올림 결정에 반영하는 '롤아웃 가이드 양자화 인식 훈련' 방식을 도입했습니다. 또한, 깊은 레이어의 가수와 스케일 정보를 선택적으로 캐싱하여 저장 및 통신 오버헤드를 줄이는 효율적인 양자화 정보 캐싱 기법을 적용했습니다. Mixture-of-Experts(MoE) 언어 모델에 적용한 결과, TRACE는 BF16과 유사한 RL 성능을 유지하면서도 롤아웃 속도를 최대 5.4배까지 가속화하는 성과를 보였습니다. 결과적으로 TRACE는 FP4 가중치 및 활성화 함수, FP4 KV 캐시 롤아웃을 동시에 지원하며 높은 학습 효율성을 입증했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
원문 보기 ↗