LLM의 언어별 편향성 실험: GPT-5.6-Luna의 무작위 선택 분석
LLM이 언어에 따라 다른 무작위 선택 경향을 보인다는 실증 연구. 멀티언어 프롬프트 설계 시 참고.
요약
최근 한 사용자가 GPT-5.6-Luna 모델에게 동일한 과일 리스트 중에서 무작위로 하나를 선택해달라는 질문을 언어별로 각각 6,000회씩 반복하는 실험을 진행했다. 실험 결과, 영어, 폴란드어, 일본어 등 사용 언어에 따라 모델이 선택하는 과일의 분포가 현저하게 달라지는 편향성이 발견되었다. 동일한 질문과 리스트 순서를 유지했음에도 불구하고, 모델은 세 가지 언어 모두에서 리스트 내 소수의 과일만을 반복적으로 선택했다. 과일 리스트 순서를 매번 섞어 다시 6,000회를 시행했을 때도 특정 과일에 편중된 결과가 나타나 LLM의 무작위 선택 알고리즘이 언어적 맥락에 영향을 받을 수 있음을 시사했다. 이번 실험은 생성형 AI 모델이 확률적 선택 과정에서 완전한 무작위성을 보장하지 않을 수 있다는 점을 실무자들에게 경고하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 ChatGPT picks differently when asked in a different language. "Choose a random fruit from this list" asked a LOT of times
원문 보기 ↗