중요X
DeepSeek(딥시크), 자사 추론 엔진 'DeepInfer' Apache-2.0으로 오픈소스 공개
NVIDIA(엔비디아) Blackwell·Huawei(화웨이) Ascend 모두 지원, 단일 클러스터 하루 155조 토큰. 자체 서빙 인프라 검토 대상.
요약
DeepSeek이 자사 모델을 구동하는 핵심 엔진인 'DeepInfer'를 Apache-2.0 라이선스로 오픈소스 공개했다. DeepInfer는 NVIDIA Blackwell 및 Huawei Ascend 950 환경에서 DeepSeek V4.1-Flash 모델을 구동할 수 있도록 설계되었다. 해당 엔진의 효율성은 매우 뛰어나, 단일 클러스터에서 하루 155T 토큰을 처리하는 성능을 보여준다. 이번 공개는 고성능 LLM 추론 가속 및 효율적 클러스터 운영을 고민하는 AI 실무자들에게 중요한 인프라 옵션이 될 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @minchoi: Hily smokes... DeepSeek just gave away the engine that runs DeepSeek. DeepInfer. Open source. Apache-2.0. Serves V4.1-Flash on NVI
원문 보기 ↗