RTX PRO 6000 듀얼 구성에서 DeepSeek-V4(딥시크 V4)-Flash 로컬 구동 벤치마크

요약

최근 한 사용자가 2개의 RTX PRO 6000 Blackwell(192GB) GPU와 vLLM 환경을 활용해 DeepSeek-V4-Flash(284B) 모델을 오프라인에서 구동한 테스트 결과를 공유했다. 해당 모델은 Blackwell의 네이티브 FP4 연산 지원 덕분에 192GB VRAM 환경에서도 구동이 가능했으며, 32개 스트림에서 최대 1,170 tok/s의 성능을 기록했다. 24개 사용자 환경에서는 1,003 tok/s의 처리량과 p95 TTFT 2.7초를 보여 최적의 성능 구간으로 확인되었다. 1M context 테스트에서는 543K 토큰까지 검색이 검증되었고, Terminal-Bench 2.1에서는 80%의 작업 해결률을 달성했다. 전력 소모는 양쪽 카드 합산 815W, 전체 시스템 기준 약 1.07kW를 기록하여 1500W 파워서플라이로 충분히 운용 가능한 수준이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.