RAG 파이프라인 아키텍처: '소스-정규화-인덱스' 구조의 적정성 논의

요약

AI 에이전트 오케스트레이션을 위한 Go 기반 백엔드 구축 과정에서 지식 베이스(KB) 파이프라인 설계를 두고 복잡한 구조와 단순한 구조 사이에서 고민하는 개발자의 사례가 Reddit에서 주목받고 있다. 작성자는 데이터 소스(S3, 웹, Notion 등)를 Markdown으로 통일하는 Normalizer 단계를 도입하여 파이프라인의 일관성을 확보하려는 아키텍처를 제안했다. 이 방식은 PDF나 HTML 등 다양한 소스 데이터를 처리할 때 후속 파이프라인이 소스 형식을 고려하지 않도록 설계하는 것이 핵심이다. 이후 Index 단계에서 정규화된 콘텐츠를 청킹(Chunking)하고 검색 가능하게 만드는 과정을 거친다. 개발자들은 이러한 파이프라인의 복잡성을 감수할 가치가 있는지, 아니면 더 단순하게 시작해야 하는지에 대해 실무적인 논의를 이어가고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.