중요팁Reddit
모든 하드웨어·OS에서 대형 MoE 모델을 스트리밍 구동하는 오픈소스 프레임워크 등장
16GB Mac서 35B가 25tok/s. llama.cpp 기반 Apache 2.0, 모바일 로컬 LLM 실험해볼 만함
요약
모든 하드웨어와 운영체제에서 대규모 MoE 모델을 스트리밍 방식으로 구동할 수 있는 표준 프레임워크가 공개되었습니다. llama.cpp를 기반으로 설계되어 다양한 양자화 환경에서 모든 MoE 모델을 실행할 수 있는 것이 핵심 특징입니다. 실제 구동 시 16GB Mac에서 25+ tok/s, 12GB 안드로이드 기기에서 6 tok/s, iOS에서 3 tok/s의 속도를 기록했으며 GPU/NPU 프리필 속도는 300+ tok/s를 보여줍니다. 이 프레임워크는 자동 리소스 할당 기능을 통해 토큰 처리 속도(tok/s)를 최적화합니다. Apache 2.0 라이선스로 배포되는 오픈소스 프로젝트로, 다양한 기기 환경에서 대형 언어 모델을 효율적으로 운용하려는 실무자에게 유용합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 First standard framework for running any large MoE model via streaming across all hardware and OS. Auto resource allocation to optimize tok/s
원문 보기 ↗