40B 모델을 미니 PC·맥미니·구형 노트북으로 분산 구동 성공 (16 tok/s)

요약

한 개발자가 여러 기기의 RAM과 컴퓨팅 자원을 결합하는 프로젝트인 RAMDeck을 통해 40B 규모의 모델을 분산 구동하는 데 성공했다. RTX 3060을 탑재한 미니 PC, 16GB RAM의 Mac Mini, 그리고 오래된 노트북 등 3개 기기를 클러스터로 묶어 약 25GB 용량의 40B 모델을 로드했다. llama.cpp RPC를 활용해 모델을 샤딩한 결과, GPU 메모리가 부족할 때 Mac Mini의 통합 메모리와 노트북의 CPU 자원을 순차적으로 활용하는 방식을 취했다. 특히 모델의 나머지 부분을 노트북 CPU로 분산 처리했을 때, 미니 PC 자체의 CPU로 처리하는 것보다 더 빠른 속도인 16 tok/s를 기록했다. 이번 실험은 저성능 기기들을 클러스터링하여 거대 모델을 효율적으로 구동할 수 있음을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.