참고팁Reddit
로컬 환경서 RAM 용량 초과하는 MoE 모델 구동 도구 'BigMoeOnEdge' 공개
가용 VRAM/RAM이 부족해도 대형 MoE 모델을 로컬에서 효율적으로 실행할 수 있는 새로운 옵션입니다.
요약
최근 공개된 오픈소스 프로젝트 BigMoeOnEdge는 llama.cpp를 기반으로 기기의 메모리 용량을 초과하는 MoE(Mixture of Experts) 모델을 실행할 수 있게 한다. 이 도구는 가용 가능한 VRAM, RAM, SSD(flash)에 모델 가중치를 자동으로 분산 배치하여 최적의 프리필(prefill) 및 디코딩 속도를 구현한다. llama.cpp가 지원하는 모든 GGUF 포맷 모델과 양자화 방식을 별도의 추가 코드 없이 바로 사용할 수 있다. 안드로이드, iOS, macOS, 윈도우, 리눅스 등 다양한 OS와 CUDA, Metal, Vulkan, Hexagon NPU 등 여러 백엔드를 지원한다. 실제 테스트에서 16GB RAM 환경의 Apple Silicon 노트북에서 22GB 용량의 Qwen3.6-35B-A3B 모델을 구동하는 데 성공하며 메모리 제약을 극복하는 실용성을 입증했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Run MoE models bigger than your RAM on phone, laptop or GPU: it places every weight on VRAM, RAM or flash by itself for max prefill and decode speed (built on llama.cpp)
원문 보기 ↗