참고X
1비트 양자화된 Kimi K3 로컬 구동 모델 공개
2.8T 파라미터 모델을 로컬에서 구동 가능. 고사양 환경에서 거대 모델 추론 연구에 참고할 만함.
요약
Atomic Chat이 2.8T 파라미터를 가진 Kimi K3 모델의 1비트 양자화 버전을 출시하며 로컬 구동을 지원한다. 이번 양자화로 모델 크기는 590GB로 대폭 줄어들었으며 원본 모델 대비 78.7%의 성능과 1M 컨텍스트 윈도우를 유지한다. 1비트의 극도로 압축된 형식임에도 불구하고 로컬 환경에서 복잡한 3D 물리 생성 작업을 수행할 수 있을 만큼 뛰어난 성능을 보인다. 해당 모델은 패치된 llama.cpp 빌드를 통해 즉시 사용 가능하며 비전 기능도 기본적으로 지원한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ai_for_success: This is awesome we now have a 1 bit quantized version of Kimi K3 that can run locally. Atomic Chat has released Kimi K3 1 bit quan
원문 보기 ↗