참고팁Reddit
데이터 보안을 위한 자체 호스팅 RAG 스택 구축 사례
외부 API 반출이 불가능한 환경에서 docling, Infinity 등 도구 조합으로 구축한 실무 RAG 아키텍처 및 벤치마크 공유.
요약
보안 규정으로 인해 데이터를 외부로 유출할 수 없는 환경에서 사내 구축형(Self-hosted) RAG 스택을 구성해야 하는 사례가 r/LLMDevs에서 주목받고 있습니다. Textract, OpenAI embeddings, Cohere와 같은 외부 관리형 API는 데이터 유출 위험으로 인해 사용이 불가능하여 OCR, 임베딩, 리랭킹까지 모든 과정을 직접 호스팅하는 방식으로 전환했습니다. 문서 처리 도구로는 디지털 PDF에 강점이 있는 docling과 다국어 레이아웃 처리에 탁월한 PaddleOCR-VL이 언급되었습니다. 임베딩 및 리랭킹 프레임워크로는 모델별로 서버를 분리해야 하는 TEI보다, 단일 프로세스에서 두 기능을 모두 수행해 서버 자원을 절약할 수 있는 Infinity가 추천되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 What's the actual self-hosted RAG stack when docs can't leave your cloud?
원문 보기 ↗