참고ZDNet Korea
노타, 업스테이지 '솔라' 경량화 기술 지원...메모리 사용량 76% 절감
국산 모델 경량화 기술의 실증 사례. H100 GPU 2장으로 2500억 파라미터 모델 구동 성과로 최적화 연구에 참고.
요약
AI 최적화 전문 기업 노타가 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에 참여 중인 업스테이지 컨소시엄에 기술 지원을 이어간다. 노타는 업스테이지의 파운데이션 모델 '솔라' 계열의 경량화 및 최적화를 담당하며, 성능 유지와 연산 자원 절감을 지원하고 있다. 특히 이번 3차수에 진출한 '솔라 오픈 2(매개변수 2500억 개)' 모델에 4비트 양자화 기술 등을 적용해 가중치 메모리 사용량을 기존 500.6GB에서 117.8GB로 76.5% 감축하는 성과를 냈다. 이를 통해 엔비디아 H100 GPU 8장이 필요했던 원본 모델을 2장으로 구동할 수 있게 되었다. 노타는 다양한 산업 현장에서 비용 효율적으로 국가대표 AI 모델이 활용될 수 있도록 기술 고도화를 지속할 계획이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 노타, 국가대표 AI 모델 최적화 지원 이어간다
원문 보기 ↗