정량적 평가를 위한 LLM 루브릭 프롬프트 기법

요약

AI 모델이 점수를 매길 때 발생하는 비일관성을 해결하기 위해 구체적인 '평가 기준표(rubric)'를 활용하는 프롬프트 엔지니어링 기법이 제안되었다. 단순히 1점에서 10점 사이의 점수를 요청하는 대신, 각 기준별로 점수 산정 근거와 문구 인용을 단계적으로 요구하는 방식이 효과적이다. 프롬프트 작성 시 각 점수 등급(낮음, 보통, 높음)이 구체적으로 무엇을 의미하는지 명확히 정의해야 모델의 평가가 일관성을 유지할 수 있다. 또한, 모든 기준을 평가한 후 최종 점수를 합산하고, 가장 큰 개선점을 도출하도록 설정하는 것이 권장된다. 가정이나 추측을 배제하고 오직 제공된 데이터 내에서만 근거를 찾도록 규칙을 설정해야 신뢰할 수 있는 결과를 얻을 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.