LLM 평가 루브릭 설계 시 불완전한 답변을 잡아내는 체크 기법

요약

LLM 평가 시스템(LLM judge)을 튜닝하기 전, 평가 지표(rubric)가 불완전한 답변을 제대로 걸러낼 수 있는지 확인해야 한다. 예시로 '마감 기한, 타임존, 지각 제출 정책'을 30자 이내로 요약하라는 과제에서, 단순히 특정 단어 포함 여부만을 평가하는 허술한 루브릭을 사용할 경우 정책 누락 답변에도 만점을 줄 수 있다. 평가 지표가 과제의 모든 요구사항을 포괄하지 못하면, 모델의 성능을 조정해도 올바른 평가 결과를 얻을 수 없다. 따라서 평가 지표를 설계할 때는 단순히 형식적인 제약 조건뿐만 아니라 핵심 정보가 모두 포함되었는지 검증하는 항목을 반드시 추가해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.