참고팁Reddit
RAG 파이프라인의 숨은 함정: PDF 구조 인식 이슈
문서 내 숨겨진 텍스트(hidden text)로 인해 RAG 정확도가 저하되는 문제와 해결책 제시.
요약
최근 ICML 학회 제출 논문 795건에서 AI 심사위원을 속이기 위한 숨겨진 텍스트가 발견되었으며, 코네티컷 법원에서도 AI 판독을 방해하려는 의도의 숨은 텍스트를 사용한 소송 당사자의 전자 제출 권한을 박탈하는 사례가 발생했습니다. PDF는 텍스트를 특정 위치의 글리프(glyph)로 저장하는 구조이므로, 흰색 배경에 숨겨진 3pt 크기의 텍스트나 보이지 않는 영역의 텍스트도 파이프라인에서 일반 텍스트와 동일하게 추출됩니다. docx의 숨김 글꼴 속성이나 HTML 이메일의 'display:none' 또한 유사한 위험을 내포하고 있습니다. 현재 대부분의 PDF 파이프라인은 텍스트 레이어를 그대로 추출하여 이러한 숨겨진 정보를 모두 포함하거나, OCR 또는 비전 모델을 통해 페이지를 렌더링하는 방식을 취합니다. 실무자들은 데이터 파이프라인이 PDF의 어떤 레이어를 읽는지 파악하고, 숨겨진 악성 텍스트가 모델의 결과에 영향을 미칠 수 있음을 인지해야 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Which layer of a PDF does your pipeline actually reads?
원문 보기 ↗