중요Simon Willison
미라 무라티의 Thinking Machines, 첫 오픈 웨이트 모델 'Inkling' 공개
Apache-2.0 라이선스 975B MoE(활성 41B) 멀티모달 모델. 상업적 파인튜닝 베이스로 검토 가치 있음.
요약
Mira Murati가 설립한 Thinking Machines Lab이 첫 오픈 웨이트 멀티모달 모델인 Inkling을 공개했다. Inkling은 총 975B 파라미터(활성 41B) 규모의 Mixture-of-Experts 트랜스포머 모델로, 45조 개의 텍스트, 이미지, 오디오 및 비디오 토큰으로 학습되었으며 Apache-2.0 라이선스를 따른다. 향후 276B(활성 12B) 규모의 Inkling-Small 모델도 추가로 출시될 예정이나 현재 테스트 중이다. Thinking Machines Lab은 해당 모델이 최고 성능의 프론티어 모델은 아니며, 자체 학습 플랫폼인 Tinker를 활용한 미세 조정(fine-tuning)에 최적화된 베이스 모델임을 강조했다. 데이터 학습 문서의 상세 정보는 제한적이지만, 공공 도메인 데이터와 인터넷 상의 공개 데이터를 활용해 개발되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Inkling: Our open-weights model
원문 보기 ↗