참고Hacker News
LLM 학습 데이터와 능력의 한계: 초등 과정 데이터만 학습하면 어떨까?
학습 데이터 수준이 모델의 지능적 한계를 결정한다는 연구. 사전 학습 데이터 구성의 중요성을 시사하는 흥미로운 실험.
요약
최신 언어 모델이 학습한 데이터의 범위를 초등학교 5학년 수준으로 제한한 'LittleCurriculum' 연구가 공개되었다. 연구진은 U.S. 초등학교 교육과정(K-5)에 맞춰 필터링된 88B 토큰 규모의 말뭉치로 0.6B, 1.3B, 5B 규모의 모델을 각각 밑바닥부터(from scratch) 학습시켰다. 실험 결과, 확장(scaling), SFT+GRPO 후학습, 문맥 내 학습(in-context learning) 등은 모델의 기존 학습 내용을 강화할 뿐, 교육과정을 벗어난 범위의 성능을 유의미하게 개선하지 못했다. 이는 사전 학습 데이터의 필터링이 모델의 실제 능력 상한선을 결정한다는 것을 의미한다. 연구진은 이번 모델들을 통해 지식의 한계가 명확하게 해석 가능한 상태에서 모델을 분석할 수 있는 기반을 마련했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 What happens when an LLM never sees material beyond fifth grade?
원문 보기 ↗