DeepSeek(딥시크), KV 캐시를 SSD에 저장하는 추론 스택 'DeepInfer' 오픈소스 공개

요약

DeepSeek이 첫 토큰 생성 속도를 최대 26배까지 높이는 추론 스택 'DeepInfer'를 오픈소스로 공개했다. 이는 반복되는 긴 프롬프트(시스템 프롬프트 등)의 KV 캐시를 GPU 메모리가 아닌 SSD에 저장해 재사용하는 방식으로, 128K 토큰 프롬프트 기준 첫 토큰 응답 시간이 13초에서 500ms로 단축되었다. 이 기술의 핵심은 DeepSeek-V2에 도입된 'Multi-head Latent Attention(MLA)'으로, KV 캐시를 기존 모델 대비 93.3% 압축하여 디스크 I/O 속도만으로 재계산보다 빠르게 로딩이 가능해졌다. 또한, 분산 파일 시스템인 '3FS'를 사용하여 수천 개의 SSD에 데이터를 분산 저장함으로써 디스크 읽기 병목 현상을 해결했다. 결과적으로 실제 운영 환경에서 전체 입력 토큰의 56%가 디스크에서 직접 서빙될 만큼 높은 효율을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.