허깅페이스, 4비트 양자화 모델 성능을 원본보다 높이는 'QAH' 기법 공개

요약

Hugging Face는 구조적 압축과 양자화를 거친 LLM의 성능을 회복하는 새로운 방법론인 'Quantization-Aware Healing(QAH)'을 발표했다. GPT-OSS 120B 모델을 60B 파라미터로 압축하고 MXFP4로 양자화한 결과, QAH를 적용한 모델이 원본 bfloat16 모델보다 9개 벤치마크 중 7개에서 더 우수한 성능을 기록했다. 기존의 양자화 인지 학습(QAT)이 비용이 많이 들고 불안정할 수 있는 반면, QAH는 압축된 4비트 모델이 오히려 더 작고 효율적이며 정확할 수 있음을 입증했다. 일반적인 효율성 파이프라인인 '아키텍처 압축-가중치 양자화-손실 회복' 과정에서 마지막 단계인 회복 방식을 혁신하여 성능 역전을 실현한 것이다. 이번 성과는 기존 모델의 양자화 과정에서 발생하는 손실을 효과적으로 극복하는 실용적인 해법을 제시한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.