참고팁Reddit
프롬프트 평가 시 지시 사항 수정과 기대 답변 변경을 분리하는 이유
평가의 신뢰성을 위해 프롬프트 수정과 기대 답변 변경에 따른 결과 차이를 명확히 구분하여 검토해야 함.
요약
AI 모델의 프롬프트 엔지니어링 성능 평가 시, 지시사항 수정과 정답 기준(expected-answer) 수정이 동시에 발생할 경우 평가 결과의 해석이 모호해질 수 있습니다. 동일한 성공(green) 결과라도 모델 자체의 스킬이 향상된 것인지, 단순히 정답 기준이 변경되어 통과한 것인지 명확히 구분해야 합니다. 이를 위해 정답 기준이 의도된 정책을 따르는지 먼저 검토한 후, 해당 스킬이 변경된 기준을 충족하는지 평가하는 분리된 검토 과정이 필요합니다. 정책 변경으로 정답이 수정된 경우 이를 일반적인 회귀 오류 수정(regression fix)이 아닌 별도의 논리로 기록해야 합니다. 이를 돕기 위해 오픈소스 평가 툴킷인 'skillEd'를 개발 중이며, 변경 사항에 대한 명확한 검토 프로세스를 도입하는 것이 중요합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Keep the skill diff and the expected-answer diff separate during review
원문 보기 ↗