참고X
Thinking Machines, 로컬 구동 최적화 오픈 가중치 모델 'Inkling 2 Mini' 출시
26B 파라미터(활성 3.4B)의 Looped Transformer 구조로 로컬 환경 추론 효율성 강조.
요약
Thinking Machines가 개인용 노트북에서도 구동 가능한 오픈 웨이트 모델 Inkling 2 Mini를 공개했습니다. 이 모델은 루프형 트랜스포머 구조를 채택하여 중간 레이어가 토큰당 3회 반복 실행됨으로써 더 적은 토큰으로 심도 있는 추론을 수행합니다. Inkling 2 Mini는 총 26.4B 파라미터(활성 파라미터 3.4B) 규모이며 구동을 위해 약 20GB의 메모리가 필요합니다. 벤치마크 테스트인 DeepSWE v1.1에서 48.2%의 성능을 기록하여 100B 미만 오픈 모델 중 가장 뛰어난 성과를 보였습니다. 효율적인 연산을 통해 소형 모델의 추론 능력을 극대화한 점이 이번 모델의 핵심입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @kimmonismus: This is such a cool release: Thinking Machines released Inkling 2 Mini, an open-weights model small enough to run on your laptop.
원문 보기 ↗