참고팁X
LLM 추론 최적화: KV 캐시 양자화 6가지 방식 해설
KV 캐시 메모리 사용량을 줄여 LLM 추론 성능과 컨텍스트 처리 효율을 개선하는 핵심 기술 정리.
요약
KV 캐시 양자화는 추론 중 생성되는 활성화 값을 압축해 메모리 사용량을 줄이는 핵심 기술로, 모델 가중치 양자화와는 별개로 수행해야 합니다. 주요 기법인 FP8 캐시는 16비트를 8비트로 줄여 용량을 절반으로 감소시키며, INT8 및 INT4 캐시는 정수 변환을 통해 더 높은 압축률을 지원하지만 반올림 오차가 발생할 수 있습니다. 양자화 입도(Granularity) 조절은 그룹별로 스케일을 다르게 적용해 정밀도를 제어하며, KIVI 방식은 키와 값의 특성에 따라 서로 다른 압축 전략을 사용하여 2비트 정밀도에서도 정확도를 유지합니다. 하이브리드 접근법인 혼합 정밀도는 최근 토큰은 고정밀도로, 과거 토큰은 저정밀도로 저장하여 메모리와 성능 간 균형을 맞춥니다. 마지막으로 비균등 양자화 및 이상치 인식(Outlier-aware) 기법인 KVQuant는 이상치를 별도로 관리하여 전체 데이터의 표현 범위를 최적화함으로써 긴 문맥 처리를 돕습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: 6 KV cache quantization approaches, explained visually: Quantizing model weights doesn't automatically shrink the KV cache. The ca
원문 보기 ↗