LLM 평가 시 발생하는 '순서 편향(Position Bias)' 해결법

요약

LLM에게 두 가지 선택지 중 더 나은 것을 고르라고 할 때 첫 번째 항목을 선호하는 '위치 편향(Position Bias)' 현상이 빈번하게 발생한다. 'Judging LLM-as-a-Judge' 연구(Zheng et al., 2023)에 따르면, 모델은 내용의 품질보다 프롬프트 내 배치 순서에 따라 판단이 달라지는 경향이 있다. 이 문제는 초안 비교, 헤드라인 선정, 전략 수립 등 AI를 의사결정에 활용하는 모든 영역에서 신뢰도를 떨어뜨릴 수 있다. 이를 해결하는 가장 효과적인 방법은 선택지의 순서를 바꾸어 동일한 프롬프트를 두 번 실행하는 것이다. 두 번의 실행 결과가 일치하지 않는다면 편향이 발생했음을 의미하므로, 재검증이나 사람의 개입을 통해 판단을 교정해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.