참고팁X
DGX Spark vs M5 Max 벤치마크: LLM 서빙 환경 구축을 위한 하드웨어 선택 가이드
하드웨어별 Prefill/Decode 성능 격차가 확인됨. 다중 에이전트 환경 구축 시 하드웨어 선택의 구체적 지표로 활용 가능.
요약
최근 벤치마크 결과, NVIDIA의 DGX Spark(GB10)는 Mac M5 Max 대비 프리필(Prefill) 작업에서 더 높은 연산 능력과 CUDA 최적화를 기반으로 약 3배 빠른 성능을 보였다. 반면 디코드(Decode) 속도는 M5 Max가 614 GB/s의 대역폭으로 DGX Spark(276 GB/s)보다 2배 이상 앞서는 모습을 보였다. 가격 면에서 GB10 OEM은 약 4천 달러 수준인 반면, 128GB M5 Max MacBook Pro는 7천 달러부터 시작한다. 멀티 에이전트 환경의 배치 서빙(Batch Serving)에는 DGX Spark가 유리하며, M5 Max의 느린 프리필 속도는 추측 디코딩(Speculative Decoding)으로 일부 보완 가능하지만 한계가 있다. 향후 M5 Ultra 출시 전까지는 전반적인 성능과 가성비 측면에서 DGX Spark가 더 나은 선택지로 평가받는다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @jun_song: DGX Spark (GB10) vs Mac M5 Max Prefill: DGX Spark is roughly 3x faster thanks to higher compute and CUDA. Much better for batch se
원문 보기 ↗