Qwen, 오픈웨이트 멀티모달 MoE 'Qwen3.8-Flash' 공개…Qwen4 아키텍처 미리보기

요약

알리바바가 멀티모달 MoE 모델인 Qwen3.8-Flash를 오픈 웨이트로 공개했으며, 이는 차세대 Qwen4 아키텍처의 초기 버전이다. 해당 모델은 125B 파라미터와 51B N-gram 임베딩으로 구성되어 있으며, 토큰당 6B만 활성화되어 높은 비용 효율성을 제공한다. 성능 면에서 DeepSWE 1.1 58.7점, SWE-bench Pro 62.5점 등을 기록하며 이전 모델인 Qwen3.7-Plus 대비 9분의 1 수준의 학습 비용으로 더 뛰어난 코딩 및 오피스 업무 능력을 보여준다. 아키텍처 측면에서는 GDN 및 QSA 하이브리드 어텐션, Gated Residual, Muon 옵티마이저를 도입했다. 기본 컨텍스트 윈도우는 262K를 지원하며, YaRN을 통해 최대 1M까지 확장이 가능하다. 곧 QwenCloud API를 통해 입력 토큰 100만 개당 0.16달러, 출력 토큰 100만 개당 0.47달러의 가격으로 정식 출시될 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.