M5 Ultra vs DGX Spark 하드웨어 벤치마크: DeepSeek V4 및 Qwen3.8 추론 성능 비교
로컬 LLM 구동 시 하드웨어 선택을 위한 구체적인 전력 효율 및 토큰 생성 속도 데이터를 제공합니다.
요약
Reddit의 r/LocalLLM 커뮤니티에서 2x DGX Spark(Asus GX10)와 M5 Max 128GB, M3 Ultra Mac Studio 512GB, RTX Pro 6000, RTX 5090 등을 활용한 LLM 벤치마크 결과가 공유되었다. DeepSeek V4와 Qwen3.8 모델을 대상으로 프롬프트 처리 성능과 토큰 생성 속도를 비교했으며, M5 Max 및 M3 Ultra 결과를 바탕으로 M5 Ultra의 이론적 성능을 추정했다. 실험 결과, DGX Spark는 특히 dense 모델의 프롬프트 처리와 서브 에이전트 동시성 작업에서 경쟁력 있는 성능을 보여주었다. 또한, DeepSeek V4 MoE 모델 구동 시 DGX Spark가 M5 Ultra 대비 낮은 전력 효율로도 토큰 생성 속도 측면에서 더 뛰어날 가능성이 확인되었다. 이번 벤치마크는 전력 사용량 측정을 위해 macmon과 DCGM exporter를 활용하여 효율성 분석을 병행했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 M5 Ultra Mac Studio vs 2x DGX Spark on DeepSeek V4 and Qwen3.8
원문 보기 ↗