참고Reddit
Maxwell-V1.0-Flash 공개, MoE 아키텍처 기반 256K 컨텍스트 지원
35B 파라미터 MoE 모델로, 긴 컨텍스트와 에이전트 추론에 최적화된 아키텍처를 제공함.
요약
Maxwell Team은 35B 총 파라미터와 토큰당 3B 활성 파라미터를 갖춘 고성능 Mixture-of-Experts(MoE) 언어 모델인 Maxwell-V1.0-Flash를 공개했습니다. 이 모델은 최대 256K 토큰의 컨텍스트 길이를 지원하며 강력한 추론, 에이전트 기능, 장문 문맥 처리에 최적화되었습니다. 특히 Maxwell Block Sparse Attention(MBSA) 기술을 도입하여 256K 컨텍스트에서 기존 Dense GQA 대비 6.7배 빠른 추론 속도를 구현했습니다. MBSA는 KV 그룹당 4,096 토큰으로 어텐션을 제한하면서도 전체 기록 KV 캐시를 유지하여 실용적인 추론 비용을 보장합니다. 이번 모델은 Reddit의 r/LocalLLaMA 커뮤니티에서 주목받고 있으며 고효율 장문 처리를 필요로 하는 실무 환경에 적합합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 maxwell-model/Maxwell-V1-Flash · Hugging Face
원문 보기 ↗