참고팁Reddit
안드로이드 제거 후 Nexus 5X에서 Gemma 3(젬마 3) 구동 사례
리눅스 커널 기반의 초경량 로컬 모델 실행 환경 구현 사례. 엣지 디바이스 최적화 및 로컬 추론 시 참고.
요약
2015년 출시된 Nexus 5X에서 안드로이드를 제거하고 커스텀 리눅스 3.10 커널을 사용하여 경량 거대언어모델(LLM)을 구동하는 프로젝트가 공개되었습니다. 해당 프로젝트는 플래싱 없이 fastboot boot를 통해 램(RAM)에서 직접 부팅되며, llama.cpp와 BusyBox 등을 포함한 최소한의 루트 파일 시스템을 기반으로 작동합니다. 기기의 2GB RAM 환경에서 Gemma 3, Qwen 2.5, Llama 3.2 모델을 구동할 수 있으며, Gemma 3 1B 모델 기준 초당 4.47토큰(t/s)의 속도를 기록했습니다. 사용자는 USB를 통해 PC 브라우저에서 채팅하거나 음성으로 모델과 상호작용할 수 있습니다. 모든 데이터 처리는 기기 내부에서 완료되어 외부로 전송되지 않는 완전한 온디바이스 환경을 제공합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Gemma 3 1B on the Nexus 5X (Directly on the Linux Kernel, No Android) — 2 GB RAM, 4.47 t/s
원문 보기 ↗