참고팁Reddit
Qwen Flash-Next vs Qwen 27B 벤치마크 비교
로컬 모델 구동 시 벤치마크 데이터를 통해 가성비와 속도를 비교함. 하드웨어 세팅에 참고 가능.
요약
최근 Reddit의 r/LocalLLaMA 커뮤니티에서 Qwen 3.8 Flash-Next IQ4_XS와 Qwen 3.8 27B FP8 모델 간의 벤치마크 비교 결과가 공유되었다. 평가 결과 MMLU-Pro(83.8% 대 75.0%), GPQA Diamond(42.5% 대 27.5%), GSM8K(97.5% 대 90.0%) 등 대부분의 항목에서 Flash-Next IQ4_XS가 더 우수한 성능을 보였다. 반면 IFEval 항목에서는 두 모델이 89.6%로 동일한 점수를 기록했다. 속도 측면에서는 27B FP8 모델이 250건의 테스트를 36분 27초 만에 완료하여 2시간 5분 47초가 소요된 Flash-Next IQ4_XS보다 훨씬 빠르게 구동되었다. 해당 테스트는 64GB DDR5 메모리와 2x R9700 환경에서 진행되었으며, 시스템 사양에 따라 mxfp4 양자화 등을 활용한 성능 최적화가 가능할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Did anyone do a full bench of e.g. Qwen Flash Next IQ4 and Qwen 27b FP8? Here are some
원문 보기 ↗