참고팁Reddit
RAG 캐싱 최적화 연구: 근사 일치보다 검증 단계의 중요성
근사 일치(near-exact match)가 오히려 오답률을 높일 수 있다는 연구. 캐싱 구조 설계 시 검증 레이어 필수.
요약
CacheVerifier의 오류율 보장 성능을 AmazonHelp와 Comcast의 실제 지원 트윗 데이터로 검증한 결과, 12개 설정 중 11개에서 목표 오류율을 준수하며 안정성을 입증했습니다. 실험에서 주목할 점은 대부분의 잘못된 캐시 응답이 코사인 유사도 0.97 이상의 '안전한' 근사 일치 항목에서 발생했다는 것입니다. 'ok'나 'any update?'처럼 겉보기에 동일해 보이는 문구라도 문맥에 따라 올바른 답변이 달라질 수 있기 때문입니다. 이를 해결하기 위해 모든 히트 항목을 단일 임계값으로 검증기에 통과시킨 결과, 12개 모든 랜덤 분할 설정에서 목표 오류율을 충족했습니다. 해당 조치에는 100건의 요청당 약 2.5회의 추가 검증기 호출이 발생했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 CacheVerifier: on real support traffic, most wrong cache replies came from the "safe" near exact matches
원문 보기 ↗