참고X
vLLM, DeepSeek(딥시크) 전용 엔진과 추론 성능 동등 수준 확보
vLLM이 최적화를 통해 DeepSeek-V4.1(딥시크 V4.1)-Flash 구동 시 전용 엔진인 DeepInfer와 대등한 성능을 기록함.
요약
AI 추론 엔진 vLLM이 DeepSeek-V4.1-Flash 전용 엔진인 DeepInfer의 성능을 따라잡았다. vLLM은 배치 사이즈 8부터 256에 이르는 DeepSeek의 디코드 구성에서 DeepInfer와 대등한 성능을 기록했다. 특히 DeepInfer가 EP64DP64 구성을 사용하는 것과 달리, vLLM은 DEP32 설정만으로 동일한 성능을 구현해 효율성을 높였다. DeepInfer는 본래 vLLM을 기반으로 구축된 엔진이다. 이번 성과는 vLLM 팀이 DeepSeek의 오픈소스 커널을 통합하고 프리필 및 디코드 과정을 광범위하게 최적화한 결과다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @vllm_project: vLLM matches DeepInfer, DeepSeek's own engine for DeepSeek-V4.1-Flash, on DeepSeek's decode configuration across batch sizes 8 to
원문 보기 ↗