Thinking Machines, 276B MoE 'Inkling-Small' 공개

요약

Mira Murati가 이끄는 Thinking Machines Lab이 276B MoE(Mixture-of-Experts) 구조의 오픈 웨이트 모델 Inkling-Small을 공개했다. 이 모델은 토큰당 12B 파라미터만 활성화하며, 상위 모델인 41B-active Inkling보다 Terminal-Bench 2.1, HLE, SWE-Bench Verified 등의 벤치마크에서 더 높은 성능을 기록했다. 특히 온폴리시 증류(On-policy distillation)와 2주간의 코딩 강화학습(RL)을 통해 추론 및 에이전트 코딩 능력에서 기존 모델을 능가하는 결과를 보였다. 또한 네이티브 오디오 및 비전 기능을 지원하며 1M 토큰의 컨텍스트 윈도우와 가변적인 사고 노력(variable thinking effort) 기능을 갖췄다. Inkling-Small은 효율적인 멀티모달 에이전트 구축을 위한 새로운 오픈 파운데이션 모델로서 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.