참고팁Reddit
12GB 램 노트북으로 27B 모델 구동하기: 분산 메모리 풀링 기법
로컬 네트워크의 여러 기기 메모리를 합쳐 고사양 모델을 실행하는 구체적인 아키텍처와 레포지토리 공유.
요약
로컬 LLM 커뮤니티에서 여러 기기의 RAM과 연산 자원을 통합해 고성능 모델을 구동하는 시도가 공유되었다. 개발자는 'RAMDeck' 프로젝트를 활용해 12GB RAM을 가진 구형 노트북에서 자체적으로는 로드가 불가능한 27B 모델을 실행하는 데 성공했다. 이를 위해 메인 노트북(3.4GB)과 RTX 3060 탑재 미니 PC(20GB), Mac mini(3.7GB), 안드로이드 스마트폰(1GB) 등 총 4개 기기를 네트워크로 연결하여 메모리를 분산했다. 결과적으로 27B 모델 구동 시 1.92 tokens/sec의 속도와 약 25ms의 지연 시간을 기록했다. 고가의 고사양 장비를 구매하는 대신 기존에 보유한 하드웨어를 결합해 대형 모델을 운영할 수 있는 실용적인 방법론을 제시한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Loaded a 27B model on a 12GB laptop by pooling RAM across 4 devices
원문 보기 ↗