참고팁X
PDF 파일명 변경이 LLM 평가 점수에 미치는 영향
LLM 평가 시 프롬프트 외 부수적인 메타데이터가 결과에 편향을 줄 수 있음을 시사. 벤치마크 실험 시 참고.
요약
최근 X의 사용자 @zachary_horvitz는 LLM이 업로드된 파일명에 따라 평가 결과가 달라지는 현상을 공유했다. 실험 결과, 단순히 PDF 파일의 이름을 'paper.pdf'에서 'paper_final_draft_pdf_ready_for_review.pdf'로 변경하는 것만으로도 gpt-5.6-terra 모델의 평균 평가 점수가 상승했다. 이는 LLM이 문서의 내용뿐만 아니라 파일의 메타데이터나 파일명에 포함된 단어를 통해 맥락을 추론하거나 편향된 평가를 내릴 가능성을 시사한다. 실무자들은 LLM을 활용한 문서 검토 시스템 구축 시 파일 명명 규칙이 결과값에 영향을 미칠 수 있음을 유의해야 한다. 프롬프트 엔지니어링 단계에서 이러한 외부 변수를 통제하거나 표준화하는 과정이 필요할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @zachary_horvitz: LLM review weirdness... Just renaming an uploaded pdf from "paper.pdf" to "paper_final_draft_pdf_ready_for_review.pdf" boosts aver
원문 보기 ↗