LLM 벤치마크 평가 시 답변 형식 무시 문제 해결 팁

요약

최근 LLM 개발자 커뮤니티에서 lm-eval을 활용한 도메인 특화 객관식 벤치마크 평가 시 발생하는 프롬프트 준수 오류가 논의되고 있습니다. 평가 목표는 여러 모델의 도메인 지식 수준을 비교하는 것이지만, 일부 고도로 지시 조정(instruction-tuned)된 모델들이 "A/B/C/D 답변만 출력하라"는 지시를 무시하고 긴 설명을 덧붙이는 현상이 발생합니다. 이로 인해 정규 표현식([A-F])이 설명문 내에 포함된 철자를 오인식하여 잘못된 답변을 추출하는 문제가 빈번합니다. 결국 모델의 지식 평가가 아닌, 응답 시작 부분에 우연히 특정 알파벳이 배치된 모델을 고르는 결과로 이어지고 있어 평가 신뢰도 확보에 어려움을 겪고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.