참고팁X
RAG의 고질병 '관련성 랭킹' 문제 해결: Jev를 이용한 전처리 필터링 기법
검색된 문서 중 낮은 품질의 텍스트를 LLM에 전달하기 전 필터링하여 토큰 낭비를 줄이고 답변 정확도를 높이는 실무 패턴입니다.
요약
기존 RAG는 검색된 상위 덩어리(chunk)를 재순위화(reranker) 후 바로 LLM에 전달하여 답변을 생성하는데, 이때 관련성은 높지만 답변의 근거로는 부족한 정보까지 포함되는 한계가 있다. 이를 보완하기 위해 제시된 'Jev + RAG' 방식은 재순위화 단계에서 '이 구절이 질문에 답하는 데 도움이 되는가'를 판단하는 Jev 모델을 추가로 활용한다. Jev는 각 검색 후보에 대해 답변 가능 확률을 산출하고, 설정된 임계값(threshold) 미만의 정보는 컨텍스트 윈도우에서 제거하여 LLM에 전달하지 않는다. 또한, Jev는 최종적으로 확보된 증거가 질문에 답변하기에 충분한지 평가하여, 정보가 부족할 경우 LLM 호출 없이 '문서에 없음'을 반환할 수 있다. Jev는 임베딩 모델이나 벡터 DB를 대체하는 것이 아니라 기존 RAG의 검색 성능 한계를 보완하며, 후보군 선별 단계의 정확도를 높이는 역할을 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: RAG vs. Jev + RAG, clearly explained! In a standard RAG setup, documents are split into chunks, converted into embeddings, and sto
원문 보기 ↗