토크나이저 없는 모델 아키텍처 'H-Net' 공개

요약

Albert Gu가 토크나이저(Tokenizer) 없이 언어를 학습하는 새로운 AI 모델인 H-Net을 공개했다. 이 모델은 원본 바이트를 직접 읽고 스스로 언어 단위를 구성하며, 반복되는 패턴을 빠르게 하나의 단위로 학습한다. 기존 토크나이저가 21개 토큰을 소모하는 숫자 데이터를 단 3개의 청크로 처리하는 등 효율적인 데이터 압축이 가능하다. H-Net은 11조 개의 토큰으로 학습된 모델과 비교할 때 10배 적은 데이터와 연산량으로 유사한 성능을 달성했다. 이는 언어 모델의 마지막 수동 설계 요소인 토크나이저를 제거함으로써 모델 효율성을 극대화할 수 있는 가능성을 보여준다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.