참고X
Qwen 4 아키텍처 예고: 'Qwen3.8-Flash-Next' 세부 사양 공개
MoE 기반 125B 모델로 추론 효율을 극대화. 코딩 성능 향상 및 API 출시 예정(1M 토큰 $0.47).
요약
Qwen이 차세대 모델인 Qwen 4(Qwen3.8-Flash-Next)를 공개했다. 이번 모델은 멀티모달 MoE 구조를 채택했으며 125B 파라미터와 51B N-gram 임베딩으로 구성되었으나, 토큰당 활성화 파라미터는 6B 수준으로 효율성을 높였다. Qwen3.7-Plus 대비 9분의 1 수준의 비용으로 훈련되었음에도 코딩 및 사무 작업 분야에서 이전 모델을 능가하는 성능을 보였다. 네이티브 컨텍스트 윈도우는 262K이며, YaRN 기법을 통해 최대 1M까지 확장이 가능하다. API는 곧 출시될 예정이며, 가격은 백만 토큰당 입력 $0.16, 출력 $0.47로 책정되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Conor_D_Dart: Qwen just dropped an early look at Qwen 4 essentially Qwen3.8-Flash-Next has - multimodal MoE, 125B params + 51B N-gram embeddings
원문 보기 ↗