V100 4개로 Qwen3.8(큐원 3.8) 27B 모델 353t/s 구동 성공

요약

NVIDIA V100 16GB GPU 4대를 활용하여 Qwen2.5-32B 모델 기반의 Qwen3.8 27B 모델을 실행한 결과, 초당 353토큰(353t/s)이라는 놀라운 추론 속도를 달성했다. 이번 테스트는 nvfp4 양자화 방식을 적용했으며, kv 캐시는 Q8, mtp4/0 설정을 사용해 256k의 최대 컨텍스트를 지원했다. 해당 성과는 최근 공개된 추론 최적화 레포지토리 'ninfer-v100xN'을 통해 구현되었다. 기존의 v100x2 설정에서 tp4(Tensor Parallelism 4) 지원을 확장한 버전으로, 구형 GPU인 V100에서도 대규모 언어 모델을 고속으로 구동할 수 있음을 입증했다. 로컬 LLM 환경 구축 시 고성능 GPU 없이도 효율적인 추론 환경을 구성하고자 하는 실무자에게 유용한 레퍼런스가 될 것으로 보인다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.