참고팁Reddit
Qwen3.8(큐원 3.8) Flash-Next (FP4) 로컬 벤치마크: RTX PRO 6000 환경 테스트 공유
FP4 양자화와 vLLM/speculative decoding 설정으로 로컬 GPU에서의 추론 최적화 가능성을 확인하는 실증 데이터.
요약
NVIDIA RTX PRO 6000(96GB) 단일 GPU 환경에서 Qwen3.8 Flash-Next(FP4) 모델의 구동 성능이 공개되었습니다. 450W 전력 제한 설정하에 단일 스트림(C1) 코딩 작업 시 초당 287 토큰, 8개 동시 요청(C8) 시 총 965 토큰의 속도를 기록했습니다. 프리필(Prefill) 성능은 4K 컨텍스트에서 약 14.5K tok/s, 128K 컨텍스트에서도 13.5K tok/s 수준을 유지했습니다. 이번 테스트는 vLLM(b12x 커널) 환경에서 FP8 KV 캐시, MTP speculative decoding(깊이 4)을 적용하여 측정되었습니다. 코딩 업무에서는 높은 성능을 보였으나, 일반적인 산문이나 다국어 대화에서는 수용률이 낮아 속도가 다소 감소할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Qwen3.8 Flash-Next (FP4) on a single RTX PRO 6000: 287 tok/s single-stream coding, 965 tok/s at 8 concurrent
원문 보기 ↗