참고팁Reddit
로컬 환경 타깃 압축 에이전트 모델 'Millie' 공개
16GB RAM 환경에서도 구동 가능한 35B 기반 코딩 에이전트. 초저양자화 모델 운용 및 로컬 추론 성능 최적화 참고용.
요약
Reddit의 r/LocalLLM 커뮤니티에서 16GB RAM 환경의 노트북에서 구동 가능한 로컬 코딩 에이전트용 압축 모델 'Millie'가 공개되었습니다. Millie는 Qwen 3.5 35B-A3B를 기반으로 미세 조정된 Agents-A1 파생 모델이며, OpenAI Codex를 포크한 코딩 에이전트 하네스와 결합하여 Mac과 Linux의 바이너리 환경에서 실행됩니다. 이 모델 시리즈는 전문가 가중치에 혼합 양자화 방식을 적용하여 크기에 따라 1비트, 테르너리(ternary), 2비트 전문가 모델로 나뉩니다. 성능 평가 결과 테르너리 모델은 SWE-bench Verified에서 56%, 2비트 모델은 60%의 정확도를 기록했습니다. 특히 테르너리 모델은 12GB RAM의 iPhone 17 Pro 환경에서 22 tokens/s의 디코딩 속도와 261 tokens/s의 프리필 속도를 보이며 우수한 추론 성능을 입증했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I trained a compressed 35B model for a local coding agent designed to run on 16 GB RAM laptops.
원문 보기 ↗