LlamaIndex, 문서 추출 시스템 벤치마크 'ExtractBench' 공개

요약

LlamaIndex는 비디지털 환경의 문서 추출 시스템 14종을 대상으로 'ExtractBench' 벤치마크를 진행하여 각 시스템의 인식 사각지대를 분석했다. 실험은 1950년대 규제 서류, 수기 세금 양식, 팩스나 복사로 훼손된 문서 등 실제 현장 환경의 데이터로 이루어졌다. 분석 결과, 기존 시스템들은 특정 조건에서 성능 급락을 보였는데, Codex는 회전된 페이지에서, 특정 전문 API는 스캔 문서에서, Gemini 3.5 Flash는 스캔 즉시 정확도가 크게 하락했다. 반면 LlamaIndex의 신규 'Extract Tier, Agentic Plus'는 회전, 스캔, 수기 문서 전반에서 93.8~95.9%의 일관된 정확도를 기록했다. 이번 결과는 기존 벤치마크 데이터인 깨끗한 PDF와 달리, 현장 실제 데이터 처리 시 시스템마다 상이한 강점과 약점이 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.