Qwen 3.8-Flash-Next 로컬 인퍼런스 처리량 2배 향상 벤치마크

요약

한 Reddit 사용자가 Qwen 3.8 Flash Next 모델을 대상으로 Strata의 처리량(throughput)을 기존 대비 2배 향상시키는 데 성공했다. 실험 환경인 3090 및 5070 Ti GPU에서 IQ3_S 퀀타이제이션 적용 시 2466 pp/167 tps, UD-Q4_K_XL 적용 시 2341 pp/126 tps의 속도를 기록했다. 이는 기존 llama.cpp와 비교했을 때 UD-Q4_K_XL 기준 약 5배 빠른 성능 개선 수치다. 작성자는 일주일간의 프로파일링과 벤치마킹을 통해 최적화된 코드를 개인 GitHub 저장소에 공개했다. 해당 개선안은 현재 공식 릴리스가 아닌 개인 실험 결과이며, 원작자에게 풀 리퀘스트를 제출한 상태다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.