RAG의 할루시네이션 극복: 인용은 정확하지만 논리가 틀린 경우의 디버깅 전략

요약

최근 Reddit의 r/LLMDevs 커뮤니티에서 RAG(검색 증강 생성) 엔진이 사실 기반의 문장을 인용하고도 논리적으로 잘못된 답변을 내놓는 사례가 공유되었습니다. 한 학생의 이사 비용 공제 가능 여부를 묻는 질문에 대해 RAG 엔진은 세금 관련 문서(Income Tax Act s.62 등)를 참조해 9번 모두 틀린 답변을 생성했습니다. 각 문장은 실제 문서에서 정확히 인용되었으나, 복잡한 세금 규칙의 케이스 분류를 잘못 적용하여 전체적인 답변이 오답이 되는 현상이 발생했습니다. 이 문제는 RAG 엔진이 단순 문장 인용은 정확히 수행해도, 상황에 맞는 복합적인 규칙 해석에는 취약할 수 있음을 보여줍니다. 결국 문장 단위의 사실 확인(Fact check)만으로는 LLM이 맥락에 맞는 올바른 추론을 수행했다고 보장할 수 없다는 한계점을 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.