옥스퍼드대 연구진 "LLM은 창조할 수 없다" 주장한 논문 화제

요약

옥스퍼드 대학의 테포 펠린(Teppo Felin)과 마티아스 홀웨그(Matthias Holweg)는 논문 "Theory Is All You Need"를 통해 LLM이 수학적으로 무언가를 발명할 수 없다고 주장했다. 연구진은 LLM이 약 13조 개의 토큰을 학습하며 과거의 데이터를 모방하는 예측 기계일 뿐, 세상이 작동하는 원리를 이해하거나 훈련 데이터를 넘어선 추론을 할 수 없다고 지적한다. 예를 들어 1633년의 데이터를 학습한 AI는 당시 지배적이었던 천동설에 근거해 갈릴레오의 지동설을 틀렸다고 판단할 가능성이 높다. 라이트 형제의 비행 성공 사례처럼 혁신은 기존 데이터가 틀렸다고 믿는 것에서 시작되지만, 학습 데이터의 확률 분포를 따르는 LLM은 이 같은 ‘데이터-신념 비대칭(data belief asymmetry)’을 극복할 수 없다. 즉, AI는 놀라움을 최소화하도록 설계되었기에 기존 데이터를 부정하거나 새로운 이론을 구축하는 창의적 도약이 불가능하다는 것이 저자들의 핵심 논지다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.