Qwen3.6-27B 기반 1-bit 양자화 모델 'Bonsai 27B' 공개

요약

PrismML이 Qwen3.6-27B 모델의 가중치를 1비트로 양자화한 Bonsai 27B 모델을 공개했다. 이 기술을 통해 기존 약 54GB였던 모델 용량을 3.9GB로 대폭 줄여 아이폰 등 모바일 환경에서 로컬 구동이 가능해졌다. 해당 모델은 가중치마다 1개의 부호 비트와 128개 그룹당 1개의 FP16 스케일을 공유하는 'binary g128' 방식을 적용했으며, 임베딩과 어텐션 레이어를 포함한 전 구간을 1비트로 처리했다. 벤치마크 테스트 결과, FP16 모델 대비 약 89.5% 수준의 성능을 유지하며 특히 수학 분야에서 91.7%로 높은 성능을 보였다. 다만 지식 및 추론 능력은 상대적으로 하락폭이 커 73.4%를 기록했으나, 모바일 기기에서의 실행 가능성을 입증했다는 점에서 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.