최신 모델의 지식 컷오프와 사전 학습 데이터 유추 기법

요약

AI 모델에 특정 질문을 던지는 '탐색(probing)' 기법을 통해 GPT-5나 Opus와 같은 최첨단 모델의 학습 데이터 구성, 파라미터 규모, 학습 타임라인을 추정할 수 있다. 구체적으로는 '압축 불가능한 지식 프로브'로 파라미터 규모를, '데이터 혼합 추론'으로 토크나이저 및 학습 데이터셋의 특징을 분석한다. 또한 날짜나 자기 식별 관련 질문으로 모델의 학습 시점을 파악하는 것이 가능하다. 현재 거대언어모델(LLM)의 학습은 대규모 인터넷 데이터 사전 학습(Pre-training), 교과서 수준의 도메인 특화 데이터 학습, 그리고 어시스턴트 페르소나를 입히는 3단계로 수렴하고 있다. 사후 학습의 비중이 커지고 있으나, 모델의 기반이 되는 사전 학습 체크포인트 생성 단계가 여전히 가장 많은 컴퓨팅 자원과 데이터를 소모하는 핵심 과정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.