Kimi K3 저사양 환경 구동: C99 기반 커스텀 추론 엔진 구현

요약

한 개발자가 1.56TB 규모의 Kimi K3 모델을 8GB RAM과 CPU 환경에서 구동할 수 있는 C99 기반의 추론 엔진을 개발했습니다. Kimi K3 체크포인트의 93%가 라우팅된 전문가 모델로 구성된 점을 활용하여, 모든 전문가를 메모리에 올리지 않고 필요 시 NVMe에서 직접 로드하는 방식을 적용했습니다. 밀집 트렁크는 레이어별로 스트리밍하며, 디퀀타이제이션 과정 없이 4비트 패킹 상태에서 바로 연산을 수행해 효율성을 높였습니다. 해당 환경에서 8.24GB RAM 사용 시 토큰당 약 33초의 속도를 기록했으며, 약 128GB RAM 환경에서는 토큰당 약 20초까지 속도 향상이 가능했습니다. 이 방식은 GPU 없이도 거대 모델을 개인용 머신에서 테스트하려는 실무자에게 유용한 최적화 사례를 제시합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.