참고팁Reddit
RAM 용량 초과 모델 구동 엔진 'Banach' 공개: 64GB 환경서 1T 파라미터 모델 실행 시도
RAM보다 큰 모델을 NVMe 스왑으로 효율적으로 처리하는 기법. 로컬 LLM 환경 최적화에 관심 있는 개발자라면 주목.
요약
오픈소스 엔진 'Banach'가 램 용량을 초과하는 대규모 모델을 데스크탑 환경에서 구동하는 새로운 방식을 제시했다. Banach는 모델의 모든 파라미터를 램에 올리는 대신, 필요한 전문가(Expert)만 램에 유지하고 나머지는 NVMe에서 스트리밍하는 방식을 사용한다. 실제 테스트 결과, 16GB 램 환경에서 22GB 모델 구동 시 llama.cpp 대비 프롬프트 처리 속도가 2.2배 빠르며 바이트 단위로 동일한 출력값을 보였다. 특히 1조 파라미터 모델인 Kimi K2의 경우, 64GB 램과 RTX 5080을 탑재한 데스크탑에서 초당 약 3.6 토큰(tok/s)의 속도로 구동 가능할 것으로 추정된다. 현재 해당 엔진은 pip를 통해 설치할 수 있으며, 관련 코드는 GitHub에서 공개되어 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Can a 1-trillion-parameter model run on a 64 GB desktop? I built an open-source engine to find out, and it already beats llama.cpp on models bigger than RAM.
원문 보기 ↗