DeepSeek V4 추론 최적화 세팅: 16x 5060Ti 기반 분산 환경 가이드
고성능 GPU 군집 환경에서의 모델 배포 및 드라이버 최적화 설정 공유. 실제 인프라 구축 시 참고할 수 있는 구체적 데이터.
요약
Reddit의 r/LocalLLaMA 커뮤니티에 Deepseek V4 Flash-0731 모델을 16대의 RTX 5060 Ti 16GB GPU로 구동하여 130~150 tks 성능을 달성한 구체적인 인프라 구성이 공유되었다. 시스템은 ASRock Rack SPC621D8U-2T/OVH 메인보드와 Xeon Gold 6330 CPU를 기반으로 하며, 두 개의 Broadcom/PLX PEX88096 스위치로 각 섬당 8개의 GPU를 연결하는 구조를 갖추었다. OS는 Ubuntu 22.04.5 LTS를 사용하며 Aikitoria가 패치한 610.43.02-p2p NVIDIA 오픈 드라이버를 적용하고 모든 GPU에 16,384 MiB의 BAR1을 필수적으로 설정했다. BIOS 및 부팅 설정에서는 Above 4G Decoding 활성화, SR-IOV 비활성화, MMIO High Granularity 1024G 지정 등이 핵심적이다. 또한 GRUB 부팅 파라미터에서 intel_iommu=off, pci=realloc=on 등을 설정하고 Resizable BAR를 활성화해야 원활한 동작이 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 The boring way to run Deepseek V4 Flash-0731 130-150 tks - 16x5060ti 16GB over 2 PLX88096 switches
원문 보기 ↗