참고팁Reddit
M5 Ultra Mac Studio 듀얼 구성에서 DeepSeek-V4.1(딥시크 V4.1)-Flash 벤치마크
로컬 LLM 구동을 위한 고성능 워크스테이션 하드웨어 벤치마크. 다중 Mac Studio 활용 시 성능 가늠 가능.
요약
Reddit의 한 사용자가 M5 Ultra 512GB Mac Studio 1대와 2대를 활용해 DeepSeek-V4.1-Flash 모델의 성능을 벤치마킹한 결과를 공유했다. MLX-Serve 26.11.2 환경에서 테스트했으며, 2대 구성 시에는 단일 Thunderbolt RDMA 링크를 사용해 전문가(experts) 모델을 두 노드에 분할하여 적용했다. 작성자는 현재 소프트웨어의 한계로 인해 Thunderbolt 연결이 1개로 제한되지만, 향후 6개 연결이 가능해질 경우의 성능 확장에 대한 기대감을 드러냈다. 이번 벤치마크는 고성능 로컬 AI 환경 구축을 고려하는 실무자들에게 하드웨어 구성 및 성능 예측에 대한 유용한 지표를 제공한다. 관련 내용은 Ivan Fioravanti의 이전 M3 Ultra 벤치마크와 ddalcu의 MLX 관련 작업을 기반으로 진행되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I benchmarked DeepSeek-V4.1-Flash on one and two M5 Ultra 512 GB Mac Studios
원문 보기 ↗