참고X
NVIDIA(엔비디아), 24GB VRAM에서 구동 가능한 74B 모델 'Nemotron 3.5 Bolt' 공개
NVIDIA(엔비디아)의 2-bit 압축 기술로 74B 모델을 24GB VRAM 환경에서 실행 가능. GGUF 지원으로 로컬 개발 환경에서 즉시 도입 검토 권장.
요약
NVIDIA가 24GB 메모리에서 구동 가능한 740억 파라미터 규모의 AI 에이전트 모델 'Nemotron 3.5 Bolt'를 공개했다. 이 모델은 추론 시 90억 파라미터만 활성화하며, 자체 테스트 결과 'RTX Spark' 환경에서 Speculative Decoder를 통해 초당 약 84개의 토큰 처리 속도를 기록했다. NVIDIA는 기존 1200억 파라미터 모델을 압축하고 전문가 가중치를 약 2비트로 최적화한 뒤 증류(distillation) 과정을 거쳐 성능 저하를 최소화했다. 코딩, 웹 검색, 도구 사용에 최적화된 이번 모델의 가중치와 디코더는 현재 다운로드할 수 있으며, llama.cpp용 GGUF 버전도 함께 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: A 74-billion-parameter AI agent that fits in just 24GB of memory. Nvidia's new Nemotron 3.5 Bolt activates 9B parameters at a time
원문 보기 ↗