Colibrì: 2.8T 파라미터 모델을 로컬 NVMe 스트리밍으로 구동하는 추론 엔진

요약

1인 개발자가 만든 오픈소스 프로젝트 'colibrì'는 LLM의 전체 파라미터를 RAM에 올리지 않고 NVMe 드라이브에서 MoE 전문가를 필요할 때마다 스트리밍하는 방식으로, 2.8조 개의 파라미터를 가진 모델을 일반적인 기기에서 구동하게 해줍니다. GLM-5.3 Flash, Kimi K3, Deepseek V4 Flash 등 9개 모델군을 지원하며, 사용자는 구독료 대신 디스크 공간과 하드웨어 자원을 소모하는 대신 토큰 비용이나 주간 사용량 제한 없이 모델을 활용할 수 있습니다. 특히 Kimi K3는 별도의 전용 엔진을 사용하며, 위치 인코딩 없이 어텐션 메커니즘 내에서 자체적으로 합성곱과 감쇠를 처리하는 하이브리드 어텐션 구조를 갖췄습니다. 다만 저장 장치에서 데이터를 스트리밍하므로 호스팅된 GPU 클러스터와 비교하면 속도 면에서 다소 느릴 수 있다는 한계가 존재합니다. 해당 프로젝트는 지난 7월 출시 이후 9월 중순까지 깃허브 스타 수가 4,611개에서 28,000개 이상으로 급성장하며 주목받고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.