참고팁GeekNews
vLLM으로 GLM-5.3 서빙 최적화: 초당 607.8토큰 달성 사례
대규모 모델 서빙 시 TP 병렬화, RDMA 활용, MTP 등 실무적인 성능 최적화 사례.
요약
GLM-5.3 NVFP4의 464GB 체크포인트를 NVIDIA DGX Station 2대에 분산하여 CPU 가중치 오프로딩 없이 단일 OpenAI 호환 API로 서빙하는 환경을 구축했다. 텐서 병렬화(TP=2)를 통해 GB300 GPU 2대가 연산을 분담하며, ConnectX-8 RDMA 연결로 토큰 생성 과정의 중간 결과를 교환한다. 효율적인 처리를 위해 다중 토큰 예측(MTP)으로 단계당 토큰 4개를 미리 생성하고, FP8 KV 캐시와 프리픽스 캐싱을 적용해 메모리 부담을 최적화했다. SPEED-Bench Coding 측정 결과, 동시 요청 16개 환경에서 초당 607.8 토큰의 출력 처리량을 기록했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 vLLM으로 NVIDIA DGX Station 2대에서 GLM-5.3을 초당 607.8토큰으로 서빙하기
원문 보기 ↗