참고팁Reddit
단일 GPU+시스템 RAM에서 MoE 모델 구동: 'MoMoE' 오픈소스 공개
한정된 VRAM 환경에서 대형 MoE 모델을 효율적으로 돌릴 수 있는 실험적 프로젝트. 로컬 LLM 사용자라면 시도해 볼 만함.
요약
MoMoE는 Strata를 오픈소스(MIT)로 포크한 프로젝트로, 단일 GPU와 시스템 RAM을 활용해 다양한 Mixture-of-Experts(MoE) 모델을 구동할 수 있도록 지원한다. 개발자는 Linux(AMD 5950x, RTX 3060/4070 Ti), Jetson Orin Nano, Mac Studio M1 Ultra, Mac Mini M1, Macbook Air M4 등 다양한 환경에서 테스트를 완료했다. 벤치마크 결과, Ornith-1.5-122B-A10B 모델 구동 시 기존 llama.cpp 대비 19.2 vs 4.6 t/s의 속도를 보였다. 또한, Qwen3.8-Flash-Next 모델에서는 MTP drafting 적용 시 65~77 t/s의 성능을 기록하여 llama.cpp의 23.1 t/s를 상회했다. Ornith-1.5-35B-A3B 모델 역시 132~154 t/s를 기록하며 llama.cpp(77.8 t/s)보다 빠른 처리 속도를 달성했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 MoMoE: a fork of Strata for more MoE models, on one GPU + system RAM (Linux/NVIDIA, Apple Silicon)
원문 보기 ↗