중요X
NVIDIA DGX Spark, 도시락 크기에 128GB 통합 메모리 담은 데스크톱 AI 슈퍼컴퓨터
RTX 5090으로 못 올리는 120B 모델도 로컬 구동, 2대 연결 시 405B까지. 온프레미스 추론 검토 대상.
요약
NVIDIA가 책상 위에 놓을 수 있는 크기의 AI 슈퍼컴퓨터인 'DGX Spark'를 공개했다. 이 장비는 128GB의 통합 메모리와 Grace Blackwell 칩을 탑재해 FP4 연산에서 최대 1페타플롭스(petaflop)의 성능을 제공한다. 기존 RTX 5090으로 구동하기 어려운 70B, 90B, 120B 파라미터 규모의 모델들을 로컬 환경에서 원활하게 실행할 수 있는 것이 특징이다. 후면의 200Gb 패브릭으로 두 대를 연결하면 최대 405B 파라미터 모델까지 구동 가능하다. GTC 현장에서는 사용자들의 요구를 반영해 4대 이상의 유닛을 연결한 설정 또한 시연되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: NVIDIA shrank an AI supercomputer into a box that fits on your desk, and what people are already running on it is a little hard to
원문 보기 ↗