LLM의 '세계 모델'은 환상? 단어 임베딩의 수학적 대칭성 연구
LLM 내부 기하학적 구조가 모델 아키텍처가 아닌 언어 자체의 통계적 속성에서 기인한다는 점을 밝힌 연구.
요약
UC 버클리와 구글 딥마인드 연구진은 대규모 언어 모델(LLM) 내부에서 발견되던 기하학적 구조가 모델의 지능이 아닌 인간 언어 자체의 수학적 속성에서 기인한다는 사실을 밝혀냈다. 그동안 LLM 내부의 달력, 연표, 지도 형태의 기하학적 구조가 모델이 스스로 복잡한 '세계 모델'을 형성한 증거로 여겨졌으나, 연구 결과 10년 전 기술인 word2vec 등 단순 모델에서도 동일한 현상이 나타남이 확인되었다. 연구진은 이를 언어의 '병진 대칭성(translation symmetry)'이라 명명하며, 특정 단어 간의 통계적 관계가 수학적 조화 함수인 푸리에 표현을 강제한다고 설명했다. 특히 훈련 데이터에서 관련 단어들을 완전히 배제하더라도 전체 언어 맥락에 의해 이러한 기하학적 구조가 생성됨을 실험으로 증명했다. 결론적으로 LLM의 기하학적 특징은 모델 아키텍처가 아닌, 인간 언어의 구조적 통계치가 투영된 결과임이 드러났다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @thesupermannx: Chomsky was wrong. Researchers from UC Berkeley and Google DeepMind cracked one of the biggest mysteries in AI. For years, scienti
원문 보기 ↗