화웨이, 로컬 추론용 고성능 양자화 도구 'MACaQ' 오픈소스 공개

요약

화웨이가 텍스트, 이미지, 비디오, 오디오 모델을 아우르는 모델 독립적 양자화 도구인 MACaQ를 공개했다. MACaQ는 122B 파라미터 모델을 32.5GB의 디바이스 메모리만 사용하여 64분 만에 양자화할 수 있는 효율성을 갖췄다. 기존의 MR-GPTQ나 DuQuant++ 대비 낮은 퍼플렉시티를 기록하거나, Llama-3-8B 모델 기준 11배 빠른 속도로 동등한 성능을 구현한다. 또한 2, 3, 4비트 GGUF 형식을 지원하며 llama.cpp, vLLM, Diffusers, PyTorch와 호환되어 실무 환경에서 즉시 활용 가능하다. 특히 MACaQ-R 기능을 통해 기존 GGUF 형식의 손실을 최소화하면서 가중치 코드를 개선할 수 있어 표준 llama.cpp 환경에서도 원활하게 구동된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.