중요X
Qwen, 'Qwen3.8-Flash-Next' 사양 유출…125B MoE·토큰당 6B만 활성화
토큰당 6B 활성화로 추론 비용 절감 기대. Qwen4 아키텍처 예고편이라 벤치마크 주목 가치.
요약
Qwen이 새로운 오픈 웨이트 모델인 Qwen3.8-Flash-Next의 출시를 예고했다. 유출된 ModelScope 정보에 따르면 해당 모델은 125B의 메인 파라미터와 51B의 N-gram 임베딩을 포함해 총 176B의 저장 용량을 갖췄다. 멀티모달 MoE 아키텍처를 채택했음에도 토큰당 활성화 파라미터는 6B에 불과한 고효율 구조가 특징이다. 이번 모델은 향후 공개될 Qwen4 아키텍처의 프리뷰 성격으로 오늘 정식 출시될 예정이다. 낮은 활성화 파라미터 대비 높은 성능을 보일 것으로 기대되어 벤치마크 결과에 업계의 관심이 집중되고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @kimmonismus: Qwen may be about to drop another super interesting open-weight models of the year. A ModelScope description that was quickly take
원문 보기 ↗