UC 버클리, MoE 특화 로컬 추론 엔진 'FreeToken' 오픈소스 공개

요약

UC Berkeley가 Mixture-of-Experts(MoE) 아키텍처를 활용하여 기존 Ollama 대비 2~4배 빠른 추론 속도를 제공하는 로컬 추론 엔진 'FreeToken'을 오픈소스로 공개했다. 이 엔진은 전체 모델을 로드하는 대신 MoE 라우터를 타겟팅하고 CPU와 PCIe 간 메모리 미스를 동적으로 분할하여, 35B 규모의 모델을 8GB GPU에서 실행할 수 있을 만큼 효율적인 메모리 관리를 가능하게 한다. 실제 벤치마크 결과 Qwen3.6-35B(8GB GPU)는 39.3 tokens/s, DeepSeek-V4-Flash 284B(32GB GPU)는 22 tokens/s, GLM-5.2 753B(96GB GPU)는 14.9 tokens/s의 성능을 기록했다. 특히 에이전트 프레임워크 경계에서 체크포인트를 저장함으로써 llama.cpp 대비 첫 토큰 지연 시간을 232초에서 44초 미만으로 단축했다. FreeToken은 Apache 2.0 라이선스로 배포되며 OpenAI 및 Anthropic API와 호환된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.