LlamaIndex, RAG 파서 성능 평가 위한 'Boo Bench' 데이터셋 공개

요약

LlamaIndex가 문서 파서(doc parser)의 성능을 테스트하기 위한 데이터셋 'Boo Bench'를 공개했다. 총 179페이지 분량으로 구성된 이 벤치마크는 파서가 반복 루프에 빠지도록 설계된 '유령의 집'과 같은 환경을 제공한다. 실제로 한 모델은 페이지 내 246개의 삭제 표시(redaction x's)를 인식하고 이를 23,004번 반복 출력하는 오류를 보였다. 실무자는 이러한 극한 상황에서의 파서 동작 방식을 확인하고 리더보드와 논문을 통해 모델별 상세 성능을 비교할 수 있다. 관련 데이터셋과 상세 결과는 LlamaIndex의 공식 링크를 통해 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.