참고팁Reddit
LLM 심사위원 모델의 위치 편향(Position Bias) 진단법
LLM으로 응답을 평가할 때 발생할 수 있는 위치 편향을 모델 간 순서 교차 검증만으로 간단히 확인하는 실무 기법.
요약
LLM을 평가자로 활용해 두 응답 중 더 나은 것을 선택할 때, 모델이 단순히 응답의 배치 순서에 따라 결과를 다르게 판단하는 '위치 편향(Position Bias)' 문제가 발생할 수 있다. 이를 확인하기 위해서는 정답지 없이 'Response A'와 'Response B'의 위치를 바꾸어 동일한 결과가 나오는지 테스트하는 교차 검증 방식이 효과적이다. 실제 테스트 결과, 명확한 정답이 있는 경우에는 위치 변화에 따른 결과 뒤집힘이 없었으나, 모호한 질문에서는 Claude 3 Haiku와 Sonnet 모델 모두에서 약 15~28%의 비율로 결과가 바뀌는 위치 편향이 관찰되었다. 이는 모델이 무작위로 답하는 것이 아니라 특정 위치를 선호하는 편향이 있음을 시사한다. 따라서 LLM 평가의 신뢰성을 높이기 위해서는 두 응답의 순서를 바꿔 평가한 뒤 결과를 평균 내는 방식을 도입하는 것이 권장된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Your LLM judge might be grading partly by position — here’s a no-labels way to catch it
원문 보기 ↗