첫 토큰 생성 속도 170배 향상시키는 'Prefix-aware' 라우팅 기술

요약

LLM 프로덕션 환경에서 많은 요청이 동일한 시스템 프롬프트나 도구 정의를 공유한다는 점에 착안해, KV 캐시를 활용하는 'Prefix-aware LLM routing' 기술이 주목받고 있다. 기존의 캐시를 고려하지 않는 라우터는 공유된 접두사(prefix)를 새로운 GPU에서 처음부터 재계산해야 하지만, 이를 인지하는 라우터는 해당 KV 캐시를 보유한 GPU로 요청을 보내 즉각적인 디코딩을 가능하게 한다. 라우터는 프롬프트 블록별 해시값을 사용하여 해당 KV 캐시를 보유한 워커를 추적하며, 요청이 들어오면 가장 많은 캐시를 보유한 GPU에 작업을 할당한다. 실제로 16개의 H100 GPU 기반 vLLM 환경에서 테스트한 결과, 해당 기술 적용 시 p90 첫 토큰 생성 시간(TTFT)이 기존 92.5초에서 0.54초로 170배가량 단축되는 성능 향상을 보였다. 다만 이 기술은 접두사가 일치할 때만 효과가 있으므로, 프롬프트의 미세한 변경으로 인한 캐시 미스(cache miss) 가능성을 실무자는 반드시 고려해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.