노타, GPU 4분의 1로 초거대 AI 구동…전력 부담 낮춘다

요약

AI 최적화 기업 노타가 초거대 AI 모델 구동에 필요한 GPU 자원을 획기적으로 줄이는 기술을 확보했다. 업스테이지의 '솔라 오픈 2' 모델을 경량화해 엔비디아 H100 GPU 사용량을 기존 8장에서 2장으로 줄이고 메모리 사용량을 76.5% 절감했다. 또한 문샷AI의 '키미 K3' 모델에도 연산 모듈 제거 기술을 적용해 기존 8장의 GPU를 4~6장으로 대체하는 경량화 버전을 개발했다. AMD '라이젠 AI 맥스+ 395' 환경에서는 GPU와 NPU 연산 분담을 통해 '큐웬3 8B' 모델의 토큰당 에너지 소비를 31% 줄이고 처리 속도를 최대 52% 단축했다. 노타는 AI 데이터센터의 전력 부담을 낮추기 위해 향후 CPU와 NPU 등 다양한 반도체 환경으로 최적화 기술 적용 범위를 확대할 계획이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.