중요X
vLLM, DeepSeek(딥시크) 추론 성능 재현… DeepInfer와 격차 6% 이내
오픈소스 vLLM만으로 DeepSeek(딥시크)급 서빙 가능. 자체 추론 인프라 비용·성능 재검토 가치 있음.
요약
vLLM 프로젝트는 Wide-EP 및 EPLB 기술을 적용해 DeepSeek의 성능을 재현하는 데 성공했다고 발표했다. 이번 업데이트를 통해 vLLM은 GB200 환경에서 DeepSeek-V4.1-Flash 모델 구동 시 DeepInfer 대비 6% 이내의 디코딩 성능을 기록했다. 특히 AgentX 워크로드에서 vLLM은 GB200 기준 최대 1M tokens/s/GPU의 처리량을 달성하며, DeepSeek의 오프피크 API 가격 책정 기준 시간당 38.96달러의 수익 창출이 가능하다. 또한 vLLM은 DeepSeek-V4.1-Flash에 대한 저지연 커널 지원을 확장하여 사용자당 최대 826 TPS를 구현했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @vllm_project: 🚨🚨🚨 vLLM is all you need to reproduce DeepSeek’s performance. With Wide-EP and EPLB, vLLM can match DeepInfer’s decode performa
원문 보기 ↗