참고팁X
LlamaIndex: RAG 파싱 시 Markdown이 가장 효율적
표 데이터 손실을 방지하고 디버깅 효율을 높이기 위한 문서 파싱 전략으로 Markdown 사용을 권장합니다.
요약
LlamaIndex는 문서 파싱 과정에서 마크다운(Markdown) 형식을 기본값으로 활용할 것을 권장한다. 일반적인 파서는 페이지 내 텍스트를 정확히 추출하더라도 표의 열 정보 등 구조적 맥락을 손실할 위험이 있어 모델이 추론에 어려움을 겪을 수 있다. 마크다운은 헤딩, 리스트, 표 등의 형식을 그대로 유지하여 답변 오류 발생 시 디버깅이 용이하다는 장점이 있다. 다만 병합된 헤더가 포함된 복잡한 표의 경우에는 HTML 형식을 사용하는 것이 더 효과적이다. LlamaIndex는 이러한 구조 보존 능력 때문에 데이터 파싱 결과물로 마크다운을 기본으로 제공한다고 밝혔다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @llama_index: Markdown is all you need. (Mostly.) A parser can get every word on the page right and still lose which column a number belongs to.
원문 보기 ↗