중요Reddit
72시간 동안 쏟아진 오픈웨이트 4종, 24GB에 들어가는 건 NVIDIA(엔비디아) Nemotron 3.5 Bolt뿐
2비트 양자화로 74B 모델을 24GB VRAM에서 구동. 대형 MoE보다 로컬 추론 현실성 높음.
요약
최근 72시간 동안 4개의 대규모 오픈 가중치 모델이 공개되었으나, 24GB VRAM 환경에서 구동 가능한 모델은 NVIDIA의 Nemotron 3.5 Bolt가 유일합니다. Meta가 공개한 Muse Spark Open은 816B 파라미터 규모로 512GB 메모리를 탑재한 M5 Ultra Mac Studio 2대 이상을 요구하여 일반 사용자 접근성이 낮고, 별도의 수익 공유 라이선스 정책을 따릅니다. 반면, 74B 파라미터 규모의 Nemotron 3.5 Bolt는 2비트 양자화 기술을 적용해 22GB 용량으로 구현되어 소비자용 GPU 환경을 지원합니다. 이번 일주일간의 주요 모델 공개는 오픈 가중치 모델의 사양과 하드웨어 요구사항 간의 큰 격차를 극명하게 보여주었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 72 hours, four big open weights drops. The only one that fits in 24GB came from NVIDIA, of all companies.
원문 보기 ↗