RAG/LLM 캐시 적중률 개선: 캐시 적중 결과 중 무작위 감사를 통한 오류율 1%대 유지 전략

요약

LLM 서비스 운영 환경에서 캐시 적중(cache hit)에 대한 검증 데이터가 부족해 발생하는 '래칫 효과(ratchet effect)' 문제가 제기되었습니다. CacheVerifier 사용자가 캐시 거부(rejects) 데이터만으로 임계값을 재조정하자 오류율이 9.5~27.7%까지 치솟았으나, 역설적으로 캐시 적중률은 28.8%에서 58.9%로 상승했습니다. 이는 레이블링된 데이터가 임계값 아래에만 집중되어 임계값이 느슨해지는 오류를 유발했기 때문입니다. 이를 해결하기 위해 승인된 캐시 적중 중 5%를 무작위로 감사(audit)하여 강제로 LLM을 호출하도록 변경했습니다. 결과적으로 오류율을 1.3~1.6% 수준으로 낮췄으며, 추가 LLM 호출 비용은 전체 트래픽의 0.5% 미만으로 유지하는 데 성공했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.