LLM 평가 시 '동일 모델군 자가 평가'의 함정

요약

텍스트 압축 파이프라인 개발자가 동일한 모델 패밀리 내에서 자가 평가(self-grading)를 수행할 경우 평가 점수가 96%로 부풀려지는 현상을 확인했다. 동일한 파이프라인을 다른 모델 패밀리인 llama-3.3-70b로 재평가한 결과, 점수는 17.6%p 낮은 78.4%로 나타났다. 개발자는 평가 신뢰성을 높이기 위해 PREREG.md에 가설과 합격 기준을 사전 등록하고, 결정론적 평가 방식을 도입해 임의 조작을 방지했다. 핵심 정보인 숫자, 날짜, 파일명 등이 유지되는 '결정론적 하한선(deterministic floor)'은 90.48%로 측정되었다. 이번 사례는 모델 스스로 생성물을 평가할 때 발생하는 편향을 방지하기 위해 독립적인 외부 검증이 필수적임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.