Qwen3.8-27B 양자화 모델 공개: GSQ 및 RCO 기법 적용

요약

Qwen3.8-27B 모델을 위한 새로운 양자화 방식인 GSQ(Gumbel-Softmax Quantization)와 RCO(Riemannian Constrained Optimization)가 적용된 GGUF 파일이 공개되었습니다. GSQ는 그리드 할당과 스케일을 공동 학습하여 2~3비트 구간에서 스칼라와 벡터 양자화 간의 성능 격차를 크게 줄였으며, GGUF 배포를 완벽하게 지원합니다. RCO는 엄격한 크기 제한 내에서 작업 손실(task loss)을 기반으로 경사 하강법을 통해 각 텐서에 최적의 양자화 유형을 자동으로 할당합니다. 이번 릴리스에는 2.50, 2.75, 3.00 bpw로 양자화된 3종의 GGUF 파일과 비전 프로젝터가 포함되어 있으며, 파일 크기는 8.4GB에서 10.1GB 사이입니다. 기존의 균일한 양자화 방식과 달리, 이번 방식은 성능에 실질적으로 중요한 텐서를 파악해 정밀도를 차등 배분함으로써 모델 효율성을 최적화했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.