← promppy_ 실시간 AI 뉴스
참고X

LlamaIndex, 문서 파싱 벤치마크 'ParseBench-2' 공개

파싱 에러 측정 로직 개선. RAG 파이프라인 성능 평가 도구로 활용 검토 필요.

요약

LlamaIndex는 NVIDIA, Cohere, Perplexity 등에서 인용된 문서 파싱 벤치마크 'ParseBench'의 차기 버전인 'ParseBench-2'를 공개했습니다. 기존 벤치마크가 특정 재무제표의 달러 표기 오류를 정확히 판별하지 못하는 한계를 보완하기 위해, 이번 버전은 오류 유형별 중요도를 먼저 설정하고 이를 검증하는 방식으로 평가 지표를 완전히 재설계했습니다. 구체적으로는 330개의 perturbation 유형을 통해 점수 변화를 정밀하게 검증하며, 양식(forms)을 포함한 6개 차원의 4,317개 페이지를 데이터셋으로 구축했습니다. 또한 1,025개의 모든 차트에 대한 전체 참조 테이블을 제공하고, 사용자가 직접 작업 부하에 맞춰 평가 우선순위를 설정할 수 있는 'Metric Lab' 기능을 추가했습니다. LlamaIndex는 완벽한 문서 파싱 벤치마크를 향한 개선 작업을 지속하겠다고 밝혔습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @llama_index: ParseBench has been cited by NVIDIA, Cohere and Perplexity. It still isn’t a perfect benchmark. Part of getting closer meant ownin

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스