참고X
MoE 기반 오픈 모델 'Motif-3-Beta' 공개
314B 파라미터, 256K 컨텍스트를 지원하는 새로운 MoE 모델. 로컬 LLM 구축 시 대안으로 고려할 가치 있음.
요약
Hugging Face에 새로운 모델인 Motif-3-Beta가 공개되었습니다. 이 모델은 전체 매개변수 약 314B, 토큰당 활성 매개변수 약 13B 규모의 Sparse MoE 구조를 갖추고 있습니다. 특히 256K(262,144 토큰)의 긴 컨텍스트 윈도우를 기본적으로 지원하여 대규모 문맥 처리에 최적화되었습니다. 아키텍처는 총 384개의 전문가 네트워크 중 토큰당 8개를 활성화하는 희소 라우팅(Sparse routing) 방식에 1개의 공유 전문가를 더한 구성을 취합니다. 다국어 지원이 가능한 범용 모델로서 다양한 언어 환경과 긴 문맥이 필요한 작업에 활용할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_akhaliq: Motif-3-Beta just dropped on Hugging Face ~314B total parameters / ~13B active per token (sparse MoE) 256K context length (262,144
원문 보기 ↗