추론 토큰 최적화한 8B 모델 'TwIL-8B' 공개

요약

최근 8B급 소형 추론 모델은 복잡한 프롬프트 처리 시 추론 과정에서 불필요하게 긴 토큰을 생성하는 지연 시간 문제를 겪고 있다. 이를 해결하기 위해 개발된 TwIL-8B는 Granite 4.2 베이스 모델에 SFT와 RL 학습을 적용하고, 도메인별 길이를 최적화하는 추가 RL 단계를 도입해 정확도를 유지하면서도 추론 토큰 수를 획기적으로 줄였다. 이 모델은 verbose와 balanced 두 가지 버전으로 공개되었으며, Q4_K_M GGUF 기준 4.98 GiB 용량으로 최신 오픈 모델 수준의 코딩(93%) 및 지시문 수행(92%) 성능을 확보했다. 특히 balanced 버전은 AIME 2026 수학 문제 해결 시 기존 9B급 모델 대비 38% 적은 19.5k 토큰만을 사용하여 효율성을 크게 개선했다. 추론 토큰 최적화 기술이 계속 발전함에 따라 소형 모델을 소비자용 GPU 환경에서도 실무에 실용적으로 활용할 수 있는 토대가 마련되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.