중요팁AI타임스
노타, Kimi K3 경량화 모델 2종 공개... GPU 사용량 최대 50% 절감
MoE 프루닝으로 B300 8장→4장 구동. 대형 오픈모델 자체 호스팅 비용 부담 서비스라면 검토 가치.
요약
노타(대표 채명수)가 5일 문샷 AI의 '키미 K3' 모델을 경량화한 2종을 허깅페이스에 공개했다. 자체 개발한 '비균일 전문가 프루닝' 기술을 적용해 기존 엔비디아 GPU 'B300' 8장이 필요했던 모델을 각각 6장과 4장만으로 구동할 수 있게 최적화했다. 이 기술은 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가 모듈은 보존하고 기여도가 낮은 모듈만 선별적으로 제거하는 방식이다. 이를 통해 전문가 모듈을 각각 25%, 50%까지 축소함으로써 GPU 자원을 최대 50%까지 절감하는 성과를 거뒀다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 노타, '키미 K3' 경량화 모델 2종 공개..."GPU 최대 50% 절감"
원문 보기 ↗