참고팁Reddit
로컬 LLM의 VRAM 사용량 예측 도구 'zxLLM' 오픈소스 공개
vLLM, llama.cpp 등 모델 배포 시 OOM 오류를 사전에 방지할 수 있는 정확한 메모리 계산 도구.
요약
최근 개발자 커뮤니티에서 로컬 LLM 실행 시 발생하는 OOM 오류를 방지하기 위한 오픈소스 도구 'zxLLM'이 주목받고 있다. 이 도구는 config.json 파일을 분석해 MHA와 GQA 아키텍처 차이를 반영한 정확한 VRAM 점유량 및 KV-캐시 용량을 계산한다. 특히 RTX 5060 Ti 테스트 환경에서 0.04~1.8% 수준의 낮은 오차율을 보였으며, 외부 의존성 없이 가볍게 구동되는 것이 특징이다. 또한 vLLM, SGLang, llama.cpp 등 주요 프레임워크에 최적화된 양자화, 텐서 병렬화, CPU 오프로딩 설정을 자동으로 제안해 준다. 로컬 환경에서 모델 구동 시 자원 계산의 불확실성을 제거하고 배포 효율을 높이는 데 기여할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built zxLLM — An open-source tool that predicts exact LLM VRAM usage & KV-cache needs (Tested on RTX 5060 Ti: ~0.04-1.8% error rate, 0 external deps)
원문 보기 ↗