Meta, Llama 이후 첫 오픈 가중치 LLM 'Muse Glimmer' 30B 공개

요약

Meta가 새로운 오픈 웨이트 멀티모달 추론 모델인 Meta Muse Glimmer를 공개했다. 이 모델은 30B 규모의 덴스(Dense) 모델로, Gemma와 유사한 아키텍처를 기반으로 하며 131k 컨텍스트 윈도우를 지원한다. 특히 32개의 쿼리 헤드와 2개의 KV 헤드를 사용하는 극단적인 GQA(Grouped-Query Attention) 구조를 채택해 KV 캐시 효율성이 매우 높으며, BF16 기준 KV 캐시는 52 KiB로 Qwen3.6 27B나 Gemma 4 31B보다 낮다. 또한 기존 Gemma 스타일의 RMSNorm 위치를 유지하면서도 활성화 함수로 SwiGLU를 사용하고 게이트 어텐션(Gated Attention)을 적용했다. 성능 면에서는 자체 벤치마크상 Qwen3.6을 앞서지만, Artificial Analysis의 독립적인 벤치마크에서는 다소 뒤처지는 것으로 나타나 향후 에이전트 워크플로우 등 실무적 활용성이 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.