중요Reddit
NVIDIA(엔비디아), 로컬 구동용 'Nemotron 3.5 Bolt 74B'와 분산 도구 PAIR 공개
오픈소스 PAIR로 여러 PC에 작업 분산 가능. 로컬 74B 추론 인프라 구성 시 검토 가치.
요약
NVIDIA가 로컬 AI 에이전트 구동을 위해 설계된 새로운 740억 파라미터 모델인 Nemotron 3.5 Bolt 74B를 공개했다. 이번 모델은 대규모언어모델(LLM)을 개인용 하드웨어에서도 효과적으로 실행할 수 있도록 최적화된 성능을 제공한다. 또한, NVIDIA는 여러 컴퓨터에 걸쳐 AI 워크로드를 효율적으로 분산 처리할 수 있는 오픈소스 도구인 PAIR를 함께 발표했다. 이 솔루션들은 로컬 환경에서의 AI 구축 및 운영 효율성을 높이는 데 초점을 맞추고 있다. 이번 발표는 최근 r/LocalLLM 커뮤니티에서 주요 관심사로 다뤄지며 개발자들의 주목을 받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 NVIDIA's Nemotron 3.5 Bolt 74B Brings 74B AI Models to Local Hardware
원문 보기 ↗