참고Reddit
NVIDIA(엔비디아), 엣지 기기 최적화 소형 모델 'Nemotron-3.5-Bolt-E4B' 공개
Gemma-4(젬마 4) 기반의 경량화 모델로, 로컬 환경에서 도구 사용 및 추론 성능 향상에 초점.
요약
NVIDIA는 Gemma-4-E4B-it을 기반으로 추가 학습시킨 소형 언어 모델(SLM) 'NVIDIA-Nemotron-3.5-Bolt-E4B-4GB'를 공개했다. 이 모델은 대화 능력은 유지하면서 멀티턴 도구 사용, 지시 이행, 입력 근거 확보 기능을 강화하여 로컬 음성 비서나 엣지 인터페이스 등에 최적화됐다. 저메모리 및 낮은 TTFT(Time To First Token) 환경에서 빠르게 동작하도록 설계되어 애플리케이션 실행 공간을 충분히 확보할 수 있다. 추론 속도 향상을 위한 추측 디코딩(Speculative Decoding) 시에는 DFlash drafter 사용을 권장한다. BF16 정밀도 버전도 함께 제공되며 상업적 및 비상업적 용도로 모두 활용 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face
원문 보기 ↗