LLM은 단순히 '다음 토큰 예측기'인가? 기술적 논쟁

요약

LLM을 단순히 '다음 토큰 예측기(next-token predictor)'라고 정의하는 것은 사전 학습 단계에서의 메커니즘만을 설명할 뿐이며, 현재의 LLM을 설명하기에는 불완전한 모델이다. 사전 학습된 기본 모델은 훈련 데이터에 존재하는 시퀀스를 학습하지만, 실제 우리가 사용하는 모델은 사후 학습 과정을 거치기 때문이다. 현대적 사후 학습의 핵심인 강화학습(RLVR)은 모델이 새로운 시퀀스를 생성하고 그 결과로부터 스스로 학습하게 만든다. 즉, 단순히 기존 데이터를 모방하는 것을 넘어 보상을 통해 결과를 최적화하는 과정이 추가되면서 모델의 작동 방식이 근본적으로 변화했다. 따라서 LLM을 이해할 때는 사전 학습과 사후 학습의 차이를 명확히 구분하여 바라보는 것이 중요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.