참고X
Moonshot(문샷) AI, 2.8조 파라미터 'Kimi K3.1(키미 K3.1) Pro' 가중치 공개
초거대 모델을 로컬 환경에서 구동하기 위한 하드웨어 사양(B300 GPU 8기 등)을 가늠해볼 수 있는 사례.
요약
Moonshot AI가 Kimi K3.1 Pro 모델의 가중치를 Hugging Face에 공개했다. 이 모델은 2.8조 개의 매개변수(parameter)를 보유하고 있으며, 가중치 파일 용량만 약 1.56TB에 달한다. 해당 모델을 로컬 환경에서 구동하기 위해서는 NVIDIA B300 GPU 8개와 2.3TB의 GPU 메모리를 갖춘 서버 구성이 필요하다. 이러한 서버 구축에 예상되는 하드웨어 비용은 약 55만 달러에서 65만 달러(한화 약 7억 6천만 원~9억 원) 수준이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @kimmonismus: Moonshot AI just released the Kimi K3.1 Pro weights on Hugging Face. The model has 2.8 trillion parameters, and the weights alone
원문 보기 ↗