참고팁Reddit
Qwen 3.8(큐원 3.8) Flash-Next 로컬 최적화 설정 'Speedy' 공개
RTX 3080 듀얼 구성 환경에서 211 t/s의 디코딩 속도를 확보한 로컬 LLM 튜닝 및 벤치마크 사례입니다.
요약
Reddit 사용자들은 Qwen3.8 Flash-Next 엔진의 추론 성능을 최적화한 커스텀 Strata 엔진 'Speedy'를 개발해 공개했다. 해당 엔진은 Threadripper 5975wx 시스템과 2개의 RTX 3080(LHR FP16 제한 해제) 환경에서 테스트되었다. 벤치마크 결과, 4,270 t/s의 프리필(prefill) 속도와 최대 211 t/s의 디코드(decode) 속도를 기록했다. 개발자는 수주간의 지속적인 벤치마크와 품질 테스트를 거쳐 최적화 과정을 수행했다고 밝혔다. 현재까지 알려진 Qwen3.8 Flash-Next 엔진 중 가장 빠른 성능을 제공하는 것으로 평가받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Speedy - custom Strata for single/dual RTX - Tested on RTX 3080 with 4,270 t/s prefill / up to 211 t/s decode - fastest Qwen3.8 Flash-Next engine I know
원문 보기 ↗