참고AI타임스
노타, 업스테이지 '솔라 오픈 2' 모델 경량화 성공…GPU 2장 구동
250B MoE 모델을 단 2개의 GPU로 구동 가능하게 최적화. 온프레미스 LLM 배포를 고려 중이라면 참고할 만한 효율화 사례.
요약
노타가 업스테이지의 2차 독자 AI 파운데이션 모델인 'Solar Open 2'를 위한 전용 경량화 모델을 27일 공개했다. 'Solar Open 2'는 250B 규모의 오픈웨이트 모델로, 연산 효율을 위해 실제 작업 시 15B만 활성화되는 MoE 구조를 적용한 에이전트 AI 최적화 LLM이다. 노타는 이번 기술을 통해 가중치 메모리를 기존 500.6GB에서 117.8GB로 약 76.5% 대폭 감축하는 데 성공했다. 이를 통해 고가의 인프라 없이 엔비디아 'H100' GPU 2장만으로도 해당 모델을 원활하게 구동할 수 있는 환경을 마련했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 노타, 업스테이지 '솔라 오픈 2' GPU 2장만으로 구동 성공
원문 보기 ↗