Meta(메타), 토큰 대신 바이트 단위로 학습하는 소형 모델 연구 공개

요약

최근 아카이브(arXiv)에 공개된 논문은 토큰 대신 원시 바이트(raw bytes)를 읽는 소형 언어 모델의 가능성을 제시했다. 연구진은 1B 파라미터 규모의 모델을 대상으로 토큰 기반 모델과 바이트 기반 모델을 학습시켰으며, Llama 3 8B 모델을 활용한 지식 증류(distillation) 기법을 적용했다. 초기 학습 단계에서는 토큰 기반 모델이 훨씬 우수한 성능을 보였으나, 학습량이 늘어날수록 토큰 모델은 성능이 정체되는 반면 바이트 모델은 지속적으로 향상되는 양상을 나타냈다. 추세 분석 결과, 바이트 모델이 충분히 학습될 경우 Llama 3.2 1B나 Gemma 3 1B와 같은 기존 모델을 능가할 것으로 예측된다. 특히 바이트 모델은 기존 방식 대비 약 6배 적은 자원으로 학습이 가능하다는 효율성도 확인되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.