참고팁Reddit
vLLM Cold Start 해결하는 오픈소스 스냅샷 도구 'warmctl' 공개
GPU 리소스 최적화. vLLM 기반 서빙 시 스냅샷 복구로 가동 시간 단축 가능.
요약
오픈소스 도구인 warmctl이 vLLM 엔진의 워밍업 상태를 스냅샷으로 저장해 다른 호스트에서 수초 내에 복원하는 기능을 제공한다. 기존 vLLM의 긴 콜드 스타트 문제를 해결하며, 8×H100 환경에서 GLM-5.3-Flash 모델을 37초 만에 서빙할 수 있다. 이 도구는 vLLM 슬립 모드, CRIU 체크포인트, CUDA 체크포인트 API, cuInterpose를 결합해 다중 GPU를 지원하며 스냅샷을 OCI 이미지로 배포한다. Modal이나 RunPod FlashBoot와 달리 직접 GPU를 관리하는 환경에서 사용할 수 있는 오픈소스 솔루션이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Serving GLM-5.3-Flash on 8×H100 in 37s with vLLM snapshots
원문 보기 ↗