참고팁Reddit
모바일에서 대용량 MoE 모델 구동 가능한 'BigMoeOnEdge+' 오픈소스 공개
안드로이드에서 RAM 용량 한계를 넘어 대규모 MoE 모델을 실행하려는 로컬 LLM 개발자에게 유용한 프로젝트.
요약
Android 기기에서 대규모 AI 모델을 구동할 수 있는 BigMoeOnEdge+가 공개되었다. 이 앱은 Helldez의 BigMoeOnEdge를 포크(Fork)하여, 플래시 메모리에서 MoE 전문가를 스트리밍하는 방식으로 RAM 용량을 초과하는 모델 실행을 지원한다. llama.cpp를 기반으로 GGUF 모델을 구동하며, 채팅 기능, 사고 과정 출력, 대화 기록 저장, 이미지 및 영상 입력, 웹 검색, 아티팩트 등 다양한 기능을 탑재했다. 기존 프로젝트 대비 UI가 크게 개선되었으며, 고급 생성 설정 기능도 추가되었다. Apache 2.0 라이선스로 배포되며 상세 코드는 GitHub 저장소에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 BigMoeOnEdge+ – an Android chat app fork of BigMoeOnEdge (llama.cpp / GGUF)
원문 보기 ↗