참고Reddit
모바일 최적화 35B MoE 멀티모달 모델, 'MiniCPM-V 4.7' 공개
모바일 온디바이스 멀티모달 추론 성능과 MoE 최적화(LES) 방식을 확인할 수 있는 흥미로운 경량화 사례.
요약
OpenBMB가 모바일 기기에서 구동 가능한 멀티모달 모델 MiniCPM-V 4.7을 공개하며 온디바이스 AI의 새로운 가능성을 제시했다. 35B-A3B MoE 구조의 이 모델은 약 3GB 메모리 환경에서도 동작하며, 표지판 인식, 복잡한 문서 이해, 시각 정보 추론, 현실 제약을 고려한 계획 수립 등이 가능하다. 핵심 기술인 LES(Lookahead Expert Scheduling)는 추론 과정에서 예측을 통해 전문가 모델을 미리 로드함으로써 MoE의 병목 현상을 획기적으로 줄였다. 또한, 자원이 제한된 기기를 위한 1B 파라미터 모델도 함께 출시되었다. 개발자가 특정 목적에 맞게 모델을 최적화할 수 있도록 지원하는 Self-Replay Fine-Tuning(SRFT) 기능도 이번 업데이트에 포함되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
원문 보기 ↗