중요X
2.8조 파라미터 Kimi K3, AMD MI355X서 구동… 엔비디아보다 2.4배 저렴
초대형 모델 추론 비용에서 AMD가 대안될 수 있다는 신호, 다만 X 개인 주장이라 벤치 검증 필요.
요약
최근 2.8조 파라미터 규모의 오픈소스 모델인 Kimi K3가 등장하며 엔비디아(Nvidia) 하드웨어의 한계를 드러내고 있다. 해당 모델은 일반적인 엔비디아 서버에 탑재되지 않을 정도로 거대하여, 가동을 위해 고가의 B300 칩이나 B200 서버 2대가 필요하다. 기업 Wafer는 이를 해결하기 위해 AMD의 MI355X 칩을 사용하여 동일한 모델을 구동하는 데 성공했다. 특히 AMD MI355X는 엔비디아 최고 사양 칩 대비 2.4배, B200 대비 7배 더 저렴한 비용으로 동일한 성능을 제공했다. 그동안 엔비디아의 강력한 진입장벽(Moat)으로 평가받던 CUDA 소프트웨어 생태계도 버그 수정 과정을 통해 충분히 대체 가능하다는 것이 증명되었다. 이는 AI 모델이 급격히 커짐에 따라 컴퓨팅 속도보다 메모리 용량과 가성비가 핵심 경쟁력이 되고 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VaibhavSisinty: A small company just cracked Nvidia's moat. And nobody is talking about it. 😨 So there's this new open source model called Kimi K
원문 보기 ↗