최신 6대 프론트엔드 모델의 정치적·사회적 편향성 벤치마크 결과
주요 LLM의 편향성을 8개 지표로 검증. Grok의 실제 정책 답변 성향 등 실무적인 모델 선택 참고자료.
요약
최근 6개 주요 LLM(GPT-5.4, Claude Sonnet 4.6, Claude Opus 4.7, Gemini Pro/Flash, Grok 4.3)을 대상으로 정치적, 인종적, 성별 편향성을 평가한 연구 결과가 발표되었습니다. 연구자는 WinoBias, BBQ Race/Ethnicity, SeeGULL, OpinionsQA, Political Compass 등 8개 벤치마크 데이터셋에서 약 20,600개의 예시를 활용해 모델을 검증했습니다. 실험 결과, Political Compass 테스트에서는 Grok 4.3을 제외한 모든 모델이 좌파 성향을 보였으나, 실제 콘텐츠 분류 및 정책 관련 질문에서는 Grok을 포함한 6개 모델 모두 좌파 성향으로 나타났습니다. 특히 Grok 4.3은 스스로 우파 성향이라고 답하면서도 실제 답변에서는 좌파적 경향을 보이는 불일치가 확인되었습니다. 또한 BBQ 인종 데이터 평가 과정에서 인종 관련 질문에 대해 모델들이 보여준 거부(Refusal) 행동 패턴에서 유의미한 차이가 발견되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Evaluated 6 frontier LLMs (GPT-5.4, Claude Sonnet 4.6, Claude Opus 4.7, Gemini Pro/Flash, Grok 4.3) on political, gender, and racial bias across 8 benchmarks (~20,600 examples) [R]
원문 보기 ↗