LLM 응답 분포의 문제: 17개 모델 테스트 결과 인간보다 다양성 현저히 낮아

요약

X 사용자인 Peter Gostev가 17개의 주요 LLM을 대상으로 '1에서 10 사이의 무작위 숫자'를 선택하게 한 결과, 모델들의 응답 분포가 인간과 매우 다르며 극도로 붕괴되어 있음이 확인되었습니다. YouGov의 2024년 조사에서 인간은 '7'을 가장 많이 선택(약 33%)했지만, LLM들은 98%의 확률로 '7'을 선택하는 모습을 보였습니다. 각 모델에 기본 온도 설정과 최저 사고 수준으로 100회씩 독립적으로 질문한 결과, 거의 모든 모델이 동일한 선택을 내렸습니다. 가장 다양한 응답을 보인 Grok 4.3조차 83%의 확률로 7을 선택했습니다. 이는 현재 LLM이 인간의 선호에 맞춰 정렬(Alignment)되어 있을지라도, 사고의 다양성 측면에서는 인간의 분포를 전혀 따라가지 못하고 있음을 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.