LLM의 성별 편향성 연구: 프롬프트 내 직함 변경에 답변 요동
연구 결과, LLM이 프롬프트 내 성별 암시에 따라 진실성 판별값이 최대 23.6%까지 달라지는 편향성 및 불안정성 확인.
요약
8월 4일 arXiv에 공개된 논문 'Unequal Verdicts'에 따르면, 6개의 AI 모델이 동일한 정치적 발언의 진위 여부를 판단할 때 화자의 직함에 따라 결과가 달라지는 현상이 확인됐다. 연구진은 'LIAR' 데이터셋을 활용해 발언 내용은 그대로 두고 화자의 직함만 'Congressperson', 'Congressman', 'Congresswoman'으로 변경하여 실험을 진행했다. 테스트 결과, 모든 모델이 화자에 따라 서로 다른 판단을 내렸으며, 응답의 9.79%에서 35.13%가 변화했고 남녀 버전 비교 시 최대 23.6%까지 답변이 뒤집혔다. 특히 5개 모델에서 통계적으로 유의미한 편향성이 발견되었는데, 남성 직함이 포함된 경우 여성이나 중립적 경우보다 거짓으로 판정하는 경향이 더 강했다. GPT-4o mini가 상대적으로 가장 일관된 결과를 보였으나, 이 모델조차 답변이 바뀌는 불안정성을 드러냈다. 이번 연구는 AI 모델이 발언 내용 자체를 검증하기보다 화자의 정보를 바탕으로 판단을 내릴 위험성을 시사하며, 이는 AI 팩트체크 도구의 신뢰성과 공정성에 심각한 문제를 제기한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @charliejhills: Six AI models were asked to check if a statement was true. Swap the speaker from a man to a woman and up to 23.6% of the answers f
원문 보기 ↗