참고팁Reddit
LLM Judge의 평가 편향 분석: Markdown 형식을 더 선호하는 이유
5개 LLM 모델을 테스트한 결과, 대부분이 내용보다 마크다운 형식에 편향되어 있음을 확인했습니다. 자동 평가 워크플로우 설계 시 참고하세요.
요약
최근 한 사용자가 LLM Judge가 답변의 내용보다 형식을 선호하는지 확인하기 위해 5가지 모델을 대상으로 비교 실험을 진행했다. 테스트에는 Claude Haiku 5.5, GPT-6 Luna, DeepSeek V4.1 Flash, Qwen3.8 Flash, Gemini 3.5 Flash-Lite가 사용되었으며, 동일한 답변의 마크다운 버전과 일반 텍스트 버전을 비교하는 방식으로 1,880회의 호출이 이루어졌다. 결과적으로 모든 LLM Judge가 마크다운 형식을 선호하는 경향을 보였으며, 마크다운 버전을 선택할 확률이 70~81%에 달했다. 심지어 일부 모델은 형식 때문에 잘못된 정답을 선택하기도 했다. 이는 LLM을 평가자로 활용할 때 포맷팅 방식이 결과에 편향을 줄 수 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I tested 5 LLM judges from 5 vendors. All preferred markdown when the content was identical, and one picked a wrong answer for its formatting.
원문 보기 ↗