중요Reddit
NVIDIA(엔비디아), 24GB에서 돌아가는 74B 로컬 VLM 'Nemotron 3.5 Bolt' 공개
네이티브 2비트 양자화로 9B 활성 MoE 구현. 24GB GPU로 로컬 에이전트 돌릴 팀은 검토 가치.
요약
NVIDIA가 74B 파라미터 규모의 비전-언어 모델(VLM)인 NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB를 공개했다. 이 모델은 네이티브 2-bit 양자화 기술을 적용해 24GB 메모리 환경에서 로컬 구동이 가능하도록 설계되었다. Mamba-2와 Transformer를 결합한 하이브리드 LatentMoE 아키텍처를 채택하여, 유사한 메모리 점유율을 가진 기존 모델들보다 속도와 지능 간의 균형을 최적화했다. 9B의 활성 파라미터를 사용하여 일상적인 에이전트 작업을 효율적으로 처리하는 데 초점을 맞췄다. 상업적 및 비상업적 용도로 모두 활용할 수 있으며, 현재 Hugging Face에서 GGUF 형식 등으로 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face
원문 보기 ↗