메타, 토크나이저 없는 바이트 단위 학습 논문 공개…토큰 모델의 성능 한계 지적

요약

Meta의 최신 연구에 따르면 기존 LLM 학습의 핵심인 토크나이저(Tokenizer) 없이도 SOTA 모델 학습이 가능한 것으로 나타났다. 연구진은 10만여 개의 토큰 대신 256개의 기본 단위인 '바이트(Bytes)'를 직접 읽는 방식을 도입해, 기존의 토큰 기반 모델이 가진 학습 한계를 극복했다. 이 바이트 기반의 1B 파라미터 모델은 'End-Of-Token' 증류 방식을 통해 기존 토큰 모델 대비 1/6의 학습 데이터로 유사한 성능을 냈으며 저장 비용을 80% 절감했다. 특히 이 모델은 점진적으로 Llama 3.2 및 2B 파라미터의 Gemma 모델을 능가하는 성능을 보였다. 이번 연구는 AI가 인간의 방식인 토큰화 없이 원시 바이트를 직접 학습할 때 더 효율적으로 지능을 향상할 수 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.