참고Reddit
LLM-as-a-judge의 한계: 보안 데이터셋 구축 시 '사칭(Impersonation)' 판정 일관성 부족
LLM 평가자로 정답지를 만들 때 모델 간 합의율이 극히 낮음. 자동화 평가 시 검증 절차 재검토 필요.
요약
아랍어 우선 LLM 보안 데이터셋인 SemGuard 구축 과정에서 166개의 '사칭(impersonation)' 사례를 GPT-4o, Grok-4, Llama 3.3 70B 등 3개 모델로 검증한 결과, 합의율이 극히 저조한 것으로 나타났다. 다른 6개 위협 카테고리와 달리 사칭 사례는 98.2%의 판단 불일치를 보였으며, 3개 모델이 모두 동의한 경우는 166개 중 3건에 불과했다. 프롬프트를 개선해도 합의 수준이 나아지지 않자, 연구자는 데이터 자체의 문제라기보다 '사칭'이라는 라벨 정의가 모호하다는 결론을 내렸다. 이에 해당 연구자는 '사칭'이 단일 개념이 아니라 최소 4개의 독립적인 판단 요소가 혼재된 결과라는 내용의 프리프린트를 작성했다. 이번 사례는 LLM을 평가자로 활용할 때 특정 개념의 모호성이 판단 결과에 큰 편차를 일으킬 수 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 3 independent LLM judges agreed on only 3/166 'impersonation' examples (98.2% disagreement). Here's what that told me
원문 보기 ↗