참고HF Blog
vLLM에 네이티브 속도의 transformers 모델링 백엔드 추가
transformers 모델을 vLLM에서 별도 포팅 없이 고속 서빙 가능. 커스텀 모델 배포 부담 감소.
원문 제목 Native-speed vLLM transformers modeling backend
원문 보기 ↗transformers 모델을 vLLM에서 별도 포팅 없이 고속 서빙 가능. 커스텀 모델 배포 부담 감소.
원문 제목 Native-speed vLLM transformers modeling backend
원문 보기 ↗