참고X
8~29MB 초경량 자동화 모델 'Needle 3' 공개…Raspberry Pi 구동
DeepSeek V4 Flash급 성능의 툴 호출 전용 모델로, 모바일 및 엣지 디바이스 배포에 적합.
요약
Cactus Compute는 8~29MB 크기의 슬라이서블(Sliceable) 자동화 파운데이션 모델 'Needle 3'를 공개했다. 2~20개 레이어 깊이 조절이 가능하며, 25~121M 파라미터(CQ2-bit) 규모로 Raspberry Pi 5 환경에서 초당 4,000 토큰 이상의 디코드 속도를 구현한다. 일반적인 대화가 아닌 툴 호출(Function Call) 및 구조화된 JSON 데이터 추출에 특화된 모델로, 121M 파라미터만으로도 자신보다 10배 큰 모델들을 상회하는 성능을 제공한다. 360B 토큰의 구조화된 데이터로 학습되었으며, 모바일, 웨어러블, 스마트 홈 기기 등 다양한 엣지 디바이스와 운영체제를 지원한다. 사용자는 공식 웹사이트를 통해 브라우저에서 직접 Needle 3의 기능을 테스트할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @cactuscompute: We release Needle 3: A Sliceable 8-29MB automation foundation model that can match DeepSeek V4 Flash. One set of weights, every de
원문 보기 ↗