참고팁Reddit
Qwen3.8(큐원 3.8)-Flash-Next 벤치마크: 4x R9700 환경서 실전 성능 확인
로컬 환경(Radiance 엔진)에서의 실제 추론 속도 및 처리량 데이터. 특정 GPU 구성 고려 시 참고.
요약
최근 Reddit의 LocalLLM 커뮤니티에서 Radeon AI PRO R9700 4개를 활용한 Qwen3.8-Flash-Next 모델의 추론 성능 테스트 결과가 공유되었다. StillDeadcode가 개발한 독립형 Radiance 엔진(C++/HIP 버전)을 사용해 4개 카드에서 텐서 병렬 처리를 수행한 결과, TP4 설정에서 단계당 11.3ms의 속도를 기록했다. 단일 스트림에서는 초당 236토큰(tok/s), 16개 스트림 병렬 처리 시에는 초당 1,190토큰의 처리량을 보였다. 기존 llama.cpp와 MTP 기법을 사용했을 때의 65~75 tok/s 대비 비약적인 성능 향상을 달성한 수치다. 반면, 2x TP2 설정은 4x TP4 구성보다 낮은 효율을 보이며 성능상 열세를 나타냈다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Qwen3.8-Flash-Next on 4x R9700 with Radiance at TP4: 11.3 ms steps, 236 tok/s single stream, 1,190 tok/s at 16 streams. Also tried 2x TP2, it lost.
원문 보기 ↗