참고HF Blog
HF Jobs에서 명령어 하나로 vLLM 서버 실행
HF 인프라로 vLLM 배포 간소화. 자체 GPU 없이 오픈모델 서빙 테스트할 때 유용.
원문 제목 Run a vLLM Server on HF Jobs in One Command
원문 보기 ↗HF 인프라로 vLLM 배포 간소화. 자체 GPU 없이 오픈모델 서빙 테스트할 때 유용.
원문 제목 Run a vLLM Server on HF Jobs in One Command
원문 보기 ↗