LLM의 소수자 차별 연구, 무엇이 진실인가: 데이터의 한계와 해석의 주의점

요약

서울대 보건대학원 김승섭 교수 연구팀은 엔비디아의 '네모트론 페르소나 코리아' 데이터셋으로 생성한 가상 인물 1만 명을 Llama 3.3 등에 입력해 소수자 재현성을 검증했다. 실험 결과, 모델이 생성한 응답에서 장애인, 성적 소수자, 국외 출생자 등은 한 명도 나타나지 않아 실제 인구 비율과의 극명한 차이를 보였다. 연구진은 이를 근거로 대규모 언어모델(LLM)이 소수자를 배제하고 불평등을 증폭시킨다고 주장했으나, 데이터셋의 입력 설계와 확률적 생성 방식에 따른 한계점도 고려해야 한다는 지적이 제기된다. 해당 데이터셋은 인구통계 자료를 바탕으로 한 합성 데이터로, 엔비디아 측 역시 특정 변수 간 독립성 가정이나 복합적인 교호작용 반영에 한계가 있음을 명시한 바 있다. 따라서 모델이 특정 소수자를 출력하지 않은 현상이 곧바로 사회적 편향의 직접적 증거인지, 혹은 확률적 생성 과정에서 발생하는 대표성 누락인지에 대한 면밀한 구분과 검증이 필요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.