LLM 답변 위치 편향 확인: 예/아니오 순서 바꾸면 결과 달라질 수 있음

요약

최근 Reddit의 프롬프트 엔지니어링 커뮤니티에서는 LLM 평가 시 답변 순서에 따른 결과 왜곡 가능성이 제기되었습니다. NM Signals의 연구에 따르면, GPT-6 Luna 모델을 대상으로 44개의 도덕적 딜레마를 'Yes'와 'No'의 순서만 바꿔 132회 테스트한 결과, 12회(7개 딜레마)에서 결과가 뒤바뀌는 현상이 확인되었습니다. 특히 모델은 답변 순서와 관계없이 항상 첫 번째로 제시된 선택지를 고르는 편향성을 보였습니다. 따라서 LLM을 평가 도구로 사용할 때는 동일한 질문에 대해 답변 순서를 반대로 배치한 뒤 결과를 비교하는 교차 검증 과정이 필수적입니다. 결과가 일치하지 않는 경우, 해당 답변은 프롬프트 배치에 의존적인 결과이므로 별도의 검토가 필요합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.