안드로이드 폰 2대 클러스터링으로 27B 모델 구동 기법

요약

한 개발자가 2대의 안드로이드 스마트폰(Xiaomi redme 100 pro max, ROG 7)을 USB 케이블로 연결하여 로컬 환경에서 27B 규모의 LLM을 구동하는 데 성공했다. 기존 llama.rn을 포크하여 커스텀 C++ 엔진을 구축하고, RPC(원격 프로시저 호출)를 통해 모델 레이어를 두 기기에 나누어 분산 처리하는 방식을 사용했다. 해당 환경에서 Ternary-Bonsai-2-27B 모델을 2.06 bpw로 압축하여 구동한 결과, 약 2.8 tok/s의 속도로 안정적인 작동을 확인했다. 특히 발열 문제를 해결하기 위해 표준 양자화 대신 'Hadamard Ternary math' 연산을 적용하여 메모리 한계를 극복했다. 이 방식은 단일 기기(Xiaomi 15)에서 5.6 tok/s로 구동되는 것과 비교해 속도는 느리지만, 고사양 모델을 저사양 하드웨어 환경에서 효율적으로 실행할 수 있는 기술적 가능성을 보여주었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.