바이두, 긴 문서 처리 최적화한 'Unlimited-OCR' 오픈소스 공개

요약

바이두(Baidu)가 대규모 문서 인식 및 처리를 혁신할 새로운 모델 'Unlimited-OCR'을 공개했다. 이 모델은 기존 모델들이 긴 문서를 처리할 때 겪던 메모리 부족 및 속도 저하 문제를 해결하기 위해 어텐션 메커니즘을 개선했다. 각 토큰이 현재 페이지와 이전 128단어만 참조하는 슬라이딩 윈도우 방식을 채택하여 문서 길이에 상관없이 메모리 사용량을 일정하게 유지한다. 그 결과 표준 파싱 벤치마크에서 93%의 정확도를 기록하며 기존 모델 대비 6% 향상된 성능을 보였고, 40페이지 이상의 문서에서도 0.11% 미만의 낮은 오류율을 유지했다. 또한 긴 문서 처리 시에도 속도 저하 없이 일정한 성능을 제공하며, 관련 모델 가중치와 논문은 오픈소스로 공개되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.