125B MoE 모델 Qwen3.8(큐원 3.8)-Flash-Next, 3090 1장에서 262K 컨텍스트 구동 성공 사례

요약

최근 레딧(r/LocalLLM)에서 Qwen3.8-Flash-Next 125B(MoE) 모델을 RTX 3090 그래픽카드 1장과 32GB RAM 환경에서 구동한 실험 결과가 공유되었다. 사용자는 llama.cpp 대신 Strata 엔진을 활용해 해당 모델의 최대 컨텍스트 길이인 262,144 토큰을 전체 사용하며 NVMe를 거치지 않고 모델을 실행했다. 성능 측정 결과 프리필(prefill) 속도는 1325 tok/s를 기록했으며, 디코드(decode) 속도는 긴 컨텍스트에서 59~62 tok/s, 짧은 컨텍스트에서 63~100 tok/s로 나타났다. 작성자는 자신의 환경(i7-12700KF, DDR5 32GB 등)에서 얻은 결과가 일반적인지 확인하고자 커뮤니티에 설정을 공개하며 다른 사용자들의 벤치마크 데이터를 요청했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.