LLM 벤치마크 루브릭의 신뢰성 검증: 'RIFT' 방법론 제안

요약

LLM이 루브릭(채점 기준표)을 사용하여 응답을 평가하는 벤치마크 방식의 신뢰성을 분석한 연구 RIFT(RubrIc Failure mode Taxonomy)가 공개되었다. RIFT는 모델의 응답이 아닌 루브릭 자체의 결함을 평가하며, 전문가 패널이 선정한 필수 기준 반영 여부, 가중치 적절성, 중복성 등을 검토해 9가지 실패 모드로 분류한다. 60개의 전문가 루브릭에 의도적으로 결함을 주입한 테스트에서, RIFT의 신호 분석은 75.0%의 확률로 결함 유형을 정확히 식별했다. 이는 기존의 베이스라인인 56.7%보다 높은 수치다. 연구진은 루브릭 평가 벤치마크에서 모호한 문구보다 기준의 누락이나 불일치가 훨씬 더 흔하고 심각한 오류 원인임을 확인했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.