SLM 어휘 사전 최적화로 추론 비용 77% 절감하는 법

요약

최근 HF Blog는 범용 오픈소스 모델의 토크나이저를 도메인 특화 데이터에 맞춰 최적화함으로써 추론 비용을 획기적으로 절감하는 VocabX 연구 결과를 발표했다. 일반적으로 토크나이저는 모델의 고정된 속성으로 간주되지만, 특정 도메인에 특화된 모델에서는 비용 절감의 핵심 레버가 될 수 있다. 실제로 포르투갈어 에세이 채점 시스템인 Qwen3-4B 모델에 이를 적용한 결과, 토큰 빈도가 아닌 각 토큰의 비용을 기준으로 어휘를 재구성하여 추론 비용을 77% 절감했다. 기존 토크나이저는 다국어 및 범용 텍스트를 위해 설계되어 불필요하게 많은 토큰을 생성하고 방대한 어휘 사전(151,669개)을 탐색해야 하는 비효율이 존재했다. 이번 연구는 모델 구조 변경 없이 토크나이저 최적화만으로 실무적인 추론 비용 효율성을 극대화할 수 있음을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.