모델별 KV 캐시 VRAM 점유율 차이 분석

요약

최근 LLM 모델 카드에 KV 캐시 비용 정보가 명시되어야 한다는 목소리가 Reddit r/LocalLLM 커뮤니티에서 높아지고 있다. 작은 모델이라도 어텐션 메커니즘 설계에 따라 토큰당 KV 캐시 점유율이 천차만별이어서 VRAM 효율성에 큰 차이가 발생하기 때문이다. 일례로 Ling-3.0-Tiny는 토큰당 6.75kB의 VRAM만 사용하여 12GB GPU에서도 600k 이상의 컨텍스트를 처리할 수 있다. 반면, K2-Horizon-7B는 토큰당 76.5kB의 VRAM을 요구하여 32GB GPU에서도 효율적인 운영이 어렵다. 이처럼 모델마다 KV 캐시 요구량이 10배 이상 차이 날 수 있으므로, 실무자들은 모델 선택 시 가중치뿐만 아니라 컨텍스트 처리 비용을 반드시 확인해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.