참고팁Reddit
RAG가 답을 알고도 환각을 일으키는 이유: 벡터 리트리벌 구조의 한계 분석
멀티홉 질문이나 글로벌 요약 등 벡터 유사도로 해결 불가능한 리트리벌 실패 패턴과 그 원인 정리.
요약
최근 Reddit의 r/LLMDevs 커뮤니티에서 RAG 시스템이 문서 내에 정답이 있음에도 불구하고 잘못된 답변을 생성하는 원인에 대한 분석이 화제가 되고 있습니다. 작성자는 이 문제가 생성 단계의 오류가 아닌, 벡터 유사도 검색 방식의 구조적 한계에서 기인한다고 지적합니다. 특히 복수의 문서를 연결해야 하는 'Multi-hop 질문'의 경우, 개별 문서 간의 연관성을 파악하지 못해 검색이 실패하게 됩니다. 또한 수백 개의 문서를 요약해야 하는 'Global 질문'은 검색 기반이 아닌 요약 작업이 필요함에도 RAG가 이를 상위 K개 문서 검색으로 해결하려 하면서 오류가 발생합니다. 결론적으로 단순히 검색 성능을 높이는 것만으로는 해결할 수 없는 복합적인 질문 유형에 대한 구조적 이해와 대응이 필요합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Why RAG hallucinates even with the answer sitting right in your documents
원문 보기 ↗