참고팁X
양자화 모델 'Ternary Qwen 3.8 27B' 공개… 6GB 미만으로 55 tok/s 구현
M5 Max 등 개인 기기에서 고성능 에이전트 모델 구동 가능. 로컬 LLM 환경 최적화에 활용할 만한 성과.
요약
X(구 트위터)의 @evaninwords는 기존 Qwen 2.5 27B 모델의 성능을 98.2% 유지하는 새로운 3진법(ternary) 27B 모델을 공개했다. 이 모델은 에이전트 작업, 컴퓨터 사용, 긴 문맥 처리 능력에서 뛰어난 성능을 발휘하는 현재까지의 가장 진화된 모델이다. 모델 용량은 6GB 미만으로 경량화되었으며, M4 Max 칩 환경에서 초당 55토큰(tok/s)의 속도로 구동 가능하다. 이번 모델 출시는 고성능 AI 모델의 효율적인 로컬 구동 가능성을 보여준 사례로, 향후 커뮤니티의 다양한 활용이 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @evaninwords: We're releasing a ternary 27B model that retains 98.2% of its parent model Qwen 3.8 27B! It excels at agentic work, computer use,
원문 보기 ↗