중요Reddit
업스테이지, 에이전트 특화 오픈웨이트 모델 'Solar-Open2-250B' 공개
250B MoE지만 토큰당 15B만 활성화. 1M 컨텍스트·툴콜 지원 국산 모델로 온프렘 검토 가치.
요약
업스테이지(Upstage)가 에이전트 작업에 특화된 250B 파라미터 규모의 오픈 웨이트 거대언어모델 'Solar Open 2'를 공개했다. 이 모델은 사무 생산성, 문서 처리, 코딩 등 복잡한 에이전트 워크플로우 수행에 최적화되어 도구 호출 및 다단계 추론 능력을 갖췄다. 특히 Hybrid-Attention MoE(Mixture-of-Experts) 아키텍처를 도입해 250B 모델임에도 토큰당 15B 파라미터만 활성화하며, 선형 어텐션(linear-attention) 층을 활용해 추론 비용을 획기적으로 낮췄다. 또한 선형 어텐션 기반의 기술을 통해 최대 1M 토큰의 긴 문맥(Context) 처리가 가능하다. 효율적인 구조를 바탕으로 대형 모델의 성능을 소형 모델 수준의 비용으로 구현한 점이 핵심이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 upstage/Solar-Open2-250B · Hugging Face
원문 보기 ↗