참고HF Blog
Hugging Face, 'tokenizers v1' 공개… 대규모 워크로드 토크나이징 성능 대폭 개선
토크나이징 병목을 해결하는 성능 업데이트. 데이터 전처리 파이프라인 최적화 시 고려할 것.
요약
Hugging Face는 대규모 데이터셋 학습 및 고속 처리를 위해 성능을 대폭 개선한 tokenizers v1 출시를 앞두고 있습니다. 기존 v0.23 대비 처리 속도를 수십 배까지 향상시켜 GPU가 토큰화 작업을 기다리며 유휴 상태가 되는 문제를 해결했습니다. 이번 업데이트는 gigatoken, tiktoken 등 오픈소스 생태계의 다양한 프로젝트에서 영감을 받아 구현되었습니다. 또한 IBM, NVIDIA, ExecuTorch 팀과의 협력을 통해 다양한 하드웨어 환경에서의 플랫폼 지원 범위를 넓혔습니다. Hugging Face는 이번 리팩토링을 통해 개발자들이 기여하고 싶은 고성능 라이브러리로 자리매김하겠다는 목표를 밝혔습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 tokenizers v1: encode, decode and scaling, measured
원문 보기 ↗