참고팁X
벡터 DB 없이 LLM 추론으로 RAG 구현하는 'Vectorless RAG' 패턴
임베딩 검색의 한계를 해결하기 위해 트리 구조와 LLM 추론을 활용하는 새로운 RAG 아키텍처 제안.
요약
표준 RAG 방식은 문서를 청크로 나누고 벡터 DB에 저장하여 유사도 기반 검색을 수행하지만, 유사성과 관련성의 괴리로 인해 연도별 보고서나 상호 참조 데이터 검색에서 오류가 발생할 수 있습니다. 이를 보완하는 'Vectorless RAG'는 벡터 DB와 임베딩 모델을 제거하고, 대신 문서 구조를 목차 트리 형태로 파싱하여 LLM이 직접 추론하도록 설계되었습니다. 질의 시 LLM이 트리 구조의 섹션 제목과 요약을 먼저 검토하여 필요한 섹션을 선별하고, 이후 해당 내용을 바탕으로 답변하거나 추가 정보를 탐색하는 반복 과정을 거칩니다. 이 방식은 보고서나 계약서와 같은 장문의 구조화된 문서 처리에 효과적이며, 대화 맥락을 파악해 정확한 페이지 출처를 기반으로 답변할 수 있습니다. 다만 매 질의마다 LLM 호출이 발생하여 비용이 상승할 수 있으므로, 방대한 짧은 비정형 텍스트에는 기존 벡터 DB 방식이 더 적합합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: RAG vs. Vectorless RAG, clearly explained! In a standard RAG setup, documents are split into chunks, embedded, and stored in a vec
원문 보기 ↗