RAG 성능 향상을 위한 시맨틱 캐싱 전략: 4가지 방식 비교 테스트

요약

최근 LLM 개발자 커뮤니티에서는 AmazonHelp와 Comcast의 고객 지원 트윗 9만 건을 재현하여 4가지 시맨틱 캐싱 설정을 비교한 실험 결과가 공유되었습니다. 실험 결과, GPTCache는 기본 임계값에서 약 80%의 적중률을 보였으나 응답 오류율이 높았고, Redis는 기본 임계값(0.9)에서 4~5% 적중률과 1% 미만의 오류율을 기록했습니다. 새롭게 제안된 CacheVerifier는 동일한 오류율 조건에서 기존 정적 임계값 방식보다 5~13% 높은 적중률을 달성했습니다. 특히 CacheVerifier는 트래픽 패턴 변화에도 설정한 오류 목표치(2%)를 안정적으로 유지하는 성능을 보였습니다. 다만 고객 지원 응답은 대화 맥락에 의존적이므로, 이번 실험 환경에서의 전체 캐시 적중률은 5~9% 수준에 머물렀습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.