참고팁Reddit
RTX 5090 기반 Qwen 3.8(큐원 3.8) Flash Next 추론 속도 벤치마크
Strata, Infernix 등 프레임워크별 4K~128K 컨텍스트 처리 속도 실측 데이터.
요약
RTX 5090(32GB) 환경에서 Qwen3.8-Flash-Next 모델의 추론 속도 테스트 결과가 공개되었습니다. 이번 테스트는 Strata NVFP4, Infernix, Unsloth 구성을 비교했으며, 하드웨어 사양으로 Intel Core Ultra 7 270K Plus와 128GB DDR5 램이 사용되었습니다. 테스트 결과 4K 및 32K 컨텍스트에서는 Strata NVFP4가 더 빠른 생성 속도를 보였습니다. 반면 128K 컨텍스트에서는 Infernix가 응답 시작 시간이 더 빠르고 생성 속도도 근소하게 우세한 것으로 나타났습니다. 이번 측정은 256개의 출력 토큰과 그리디 샘플링(greedy sampling)을 기준으로 3회 반복 수행되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 RTX 5090 Qwen3.8 Flash Next speed tests: Strata NVFP4, Unsloth and Infernix
원문 보기 ↗