참고팁HF Papers
RLVR 학습 효율 개선하는 ‘KV4-RL’: INT4 KV 캐시 양자화로 훈련 속도 향상
RLVR 학습 시 병목을 INT4 KV 양자화로 해결해 훈련 속도를 약 1.8배 개선, LLM 학습 파이프라인 최적화에 유용합니다.
요약
강화학습(RLVR)의 비동기 롤아웃 효율을 높이기 위해 INT4 KV 캐시 양자화를 적용하는 KV4-RL 기법이 공개되었습니다. 연구진은 KV 캐시 양자화가 가중치 전용이나 가중치-활성화 양자화보다 뛰어난 가속 성능을 보임을 확인했으나, 기존 방식은 학습 성능 저하 문제를 동반했습니다. 이를 해결하기 위해 KV4-RL은 보정 없는 INT4 양자화와 함께 어텐션 싱크 및 최근 컨텍스트에 INT8 보호를 적용하는 방식을 채택했습니다. Qwen3-8B-Base 모델 기준 GRPO 학습 400회 반복 결과, 기존 BF16 대비 1.8배의 롤아웃 가속과 1.27배의 전체 반복 가속을 달성했습니다. 최종 성능 측면에서도 Qwen3-4B-Base 및 8B-Base 모델 모두 BF16 학습 대비 0.5%p 이내의 정확도 차이를 유지하며 효율성을 입증했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
원문 보기 ↗