4비트 이하 양자화에서 PTQ보다 QAT가 성능 개선에 효과적

요약

최근 LLM 개발 커뮤니티 실험 결과에 따르면, 4비트 이하 양자화에서 모델 성능 유지 전략이 비트 수에 따라 달라져야 함이 확인되었다. 4비트 양자화 수준에서는 기존 PTQ(Post-Training Quantization) 기법으로도 충분히 양호한 성능 확보가 가능하며, Qwen3.5-4B 모델 실험에서 QUASAR QAT는 0.0181 KL 수치로 GPTQ 및 표준 QAT보다 우수한 성능을 보였다. 반면 3비트와 2비트로 내려갈수록 PTQ의 안정성이 급격히 떨어지므로 양자화 오류를 학습 과정에 포함하는 QAT(Quantization-Aware Training) 방식이 필수적이다. 특히 2비트 실험에서 QUASAR QAT 모델은 기존 방식 대비 8개 태스크 평균 3~4점 이상의 성능 향상을 기록했다. 핵심 아이디어는 QAT 과정에서 단순 반올림 대신 손실 인지(loss-aware) 방식으로 양자화된 가중치를 재구성하는 것으로, 추론 시 별도의 추가 경로가 필요하지 않다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.