참고팁Reddit
로컬 LLM 최적화 툴 'QuantProbe' 오픈소스 공개
하드웨어 스펙에 맞춘 모델 메모리 할당 레시피 자동 생성. 저사양 장비에서 LLM 구동 효율 향상 가능.
요약
최근 Reddit의 r/LLMDevs 커뮤니티에는 저사양 하드웨어에서 로컬 LLM을 실행하기 위한 최적화 도구인 QuantProbe가 공개되었다. 개발자는 4가지 법칙을 통해 하드웨어 사양에 맞춰 모델의 성능(tok/s)과 메모리 사용량을 조절하는 방식을 연구해왔다. 실제 2016년형 PC(16GB RAM)에서 110B 모델을 실행했을 때 0.19 tok/s, GTX 1060 6Gb 환경에서 30B 모델은 19.3 tok/s의 성능을 기록했다. QuantProbe는 각 기기 환경에 맞는 최적의 양자화 및 메모리 할당 레시피를 제안하며, 모델이 하드웨어 사양을 초과할 경우 메모리와 속도를 상호 조정한다. 현재 pip 설치를 지원하며, 프로젝트 개발자는 사용자의 피드백과 결과 공유를 통한 지속적인 검증 및 기여자를 모집하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I ran a 110B model on my 2016 PC (16GB RAM, SATA): predicted 0.2-0.3 tok/s, measured 0.19. The same law runs a 30B at 19.3 tok/s on the GTX 1060 6Gb.
원문 보기 ↗