참고X
LlamaIndex, 문서 추출 성능 평가 벤치마크 'ExtractBench' 공개
문서 데이터 처리와 에이전트 성능 평가를 위한 새로운 표준. RAG 파이프라인 최적화 시 참고할 것.
요약
LlamaIndex가 문서 추출 성능을 평가하는 새로운 벤치마크 'ExtractBench'를 Kaggle에 공개했다. 이번 벤치마크는 긴 기록 목록, 노이즈가 많은 스캔 문서, 수기, 복잡한 표 등 다운스트림 에이전트와 워크플로우를 방해하기 쉬운 문서들을 대상으로 스키마 기반 추출 능력을 테스트한다. 총 8개 비즈니스 도메인, 67개 문서 유형에 걸친 370개의 기업용 문서를 평가 데이터로 활용한다. 실무자들은 LlamaParse, Codex, Claude Code 등 다양한 도구의 성능을 비교 분석할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @llama_index: ExtractBench is now live on @Kaggle. It tests schema-guided document extraction on the documents most likely to break downstream a
원문 보기 ↗