중요Hacker News
27B급 최초 폰 구동 1비트 LLM 'Bonsai 27B' 공개
Qwen3.6 27B를 1비트·삼항 양자화로 18GB→폰 구동. 온디바이스 에이전트 배포 검토 가치.
요약
Bonsai 27B는 Qwen3.6 27B를 기반으로 하며, 27B 규모 모델로는 최초로 스마트폰에서 구동 가능한 멀티모달 LLM이다. 기존 27B 모델은 16비트 기준 54GB, 4비트 기준 18GB 용량으로 모바일 기기 구동이 어려웠으나, Bonsai 27B는 저비트 양자화 기술을 통해 이를 극복했다. 고품질 버전인 'Ternary Bonsai 27B'는 1.71비트 가중치를 사용하여 5.9GB 용량으로 일반 노트북에서도 멀티스텝 추론과 에이전트 기능을 수행한다. 경량 버전인 '1-bit Bonsai 27B'는 1.125비트 가중치와 3.9GB 용량으로 설계되어 iPhone 17 Pro의 메모리 내에서 27B급 모델을 구동할 수 있다. 이번 모델은 임베딩, 어텐션, MLP, LM 헤드 등 전체 네트워크에 저비트 표현을 적용하여 정밀도 손실을 최소화했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone
원문 보기 ↗