NVIDIA(엔비디아) DGX 스테이션 2대 활용 GLM-5.3 대형 모델 로컬 서빙 가이드

요약

최근 7530억 개의 파라미터를 가진 Z.ai의 MoE 모델인 GLM-5.3 NVFP4를 두 대의 NVIDIA DGX Station에서 vLLM을 활용해 구동하는 방법이 공개되었다. 해당 모델의 체크포인트 용량은 약 464GB로 단일 GB300 GPU의 HBM3e 용량인 252GB를 초과하기 때문에, 두 대의 DGX Station을 ConnectX-8 RDMA로 연결하여 GPU 메모리에 가중치를 분산 배치했다. 이 환경에서 텐서 병렬화(Tensor Parallelism, TP=2)를 적용한 결과, 초당 607.8 토큰의 추론 속도를 달성했다. CPU로의 가중치 오프로딩 없이 전체 가중치를 GPU 메모리에 상주시켜 효율성을 높였으며, 두 Station이 협력하여 OpenAI 호환 API를 통해 단일 엔드포인트로 응답을 반환한다. 실무자는 이 설정을 통해 대규모 모델의 로컬 호스팅 시 발생할 수 있는 메모리 제약을 극복하고 동시 부하 상황에서의 성능을 측정할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.