참고팁Reddit
복잡한 문서 처리를 위한 고성능 RAG 파이프라인 'Meridian' 오픈소스 공개
스캔본 등 복잡한 문서의 가독성과 파싱 효율을 높이는 도구. RAG 구축 시 인프라 대안으로 활용 가능.
요약
AI 엔지니어 Raj가 항공우주 및 금융 분야 등 방대한 기업 문서 처리를 위해 구축한 'meridian' 파이프라인을 오픈소스(Apache 2.0)로 공개했다. 이 파이프라인은 스캔본, 표, 수식 등이 포함된 복잡한 PDF를 검색 가능한 청크로 변환하며, 단일 H200 GPU에서 분당 118페이지를 처리하는 고성능을 제공한다. 주요 단계로는 Docling을 이용한 레이아웃 및 영역 감지, 수식 위치를 시각화하는 박스 드로잉, 그리고 Qwen2-VL 등을 활용한 시각적 정보 추출 과정을 포함한다. 특히 NASA의 기술 보고서 10만 8천여 건을 처리하며 성능을 검증했다. 기업용 AI 에이전트 및 문서 AI 개발자들은 GitHub 저장소를 통해 해당 솔루션을 직접 활용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I build agents & document AI for enterprises (aerospace, finance, 100K+ doc corpora). Open sourcing the parsing pipeline I use: 118 pages/min on a single H200
원문 보기 ↗