참고X
2.78조 파라미터 Kimi K3, 단일 CPU/8GB RAM에서 구동 성공… C99로 구현
고용량 모델을 NVMe 스트리밍으로 실행하는 극단적 최적화 사례. 모델 배포 효율화의 새로운 가능성.
요약
Kimi K3 모델을 단일 CPU와 8GB RAM만으로 실행할 수 있는 'kimi-k3-in-c'가 공개되었다. 2.78조 개의 파라미터를 가진 Kimi K3는 본래 5.56TB의 메모리가 필요하지만, Mixtral과 같은 Mixture-of-Experts 구조를 활용해 필요한 전문가 레이어만 활성화하는 방식을 취했다. 이 프로그램은 모델 가중치를 4비트로 압축하고, 전체 모델의 93%를 NVMe 디스크에서 필요할 때마다 읽어오는 방식을 통해 메모리 제약을 극복했다. 외부 의존성 없이 176KB의 C 코드만으로 구현되었으며, 8GB RAM 환경에서는 토큰당 약 32초의 처리 속도가 소요된다. 1.7TB의 여유 디스크 공간이 필요하며, 메모리 용량에 따라 속도는 달라지지만 출력 결과는 동일하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: SOMEONE JUST RAN A 2.78 TRILLION PARAMETER MODEL ON A SINGLE CPU WITH JUST 8 GB OF RAM No GPU. No framework. Just six files of por
원문 보기 ↗