RAG 인덱스 양자화 최적화 도구 'shrinkvec' 공개

요약

RAG 인덱스 양자화 시 임베딩 모델에 따라 검색 성능(recall) 차이가 매우 크므로, 사전에 자체 데이터로 측정하는 과정이 필수적이다. 동일한 방식의 양자화 기법을 적용했을 때 OpenAI 임베딩에서는 0.992의 recall을 보였으나, GloVe에서는 0.348, SIFT에서는 0.055로 결과값이 크게 달라졌다. 이러한 문제를 해결하기 위해 개발된 도구인 shrinkvec은 사용자의 벡터를 입력받아 halfvec, int8, binary, RaBitQ, TurboQuant 등 13가지 양자화 옵션에 대한 recall, 크기, 지연 시간을 비교 분석한다. 이 도구는 목표 recall을 설정하여 가장 최적화된 양자화 방식을 자동으로 추천해준다. 특히 CI 파이프라인에 '--min-recall' 옵션을 적용하면, 임베딩 모델 변경으로 인한 검색 성능 저하를 방지하도록 빌드 단계에서 실패를 유도할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.