참고팁Reddit
RTX 3060 환경에서 Qwen 3.8(큐원 3.8) Flash Next(IQ4_XS) 구동 최적화 사례
로컬 LLM 환경(DDR4 메모리 대역폭 활용)에서 하드웨어 구성별 추론 성능 최적화 가이드.
요약
Betelgeuse(bel-cli/bel-server)가 Qwen 3.8 Flash Next의 IQ4_XS 양자화 모델을 듀얼 채널(2x8GB) DDR4 환경에서 24 tok/s 속도로 구동하는 데 성공했다. 싱글 채널(1x16GB) 환경에서는 14 tok/s를 기록하여 메모리 대역폭이 성능에 큰 영향을 미침을 입증했다. 이번 테스트는 RTX 3060 12GB 환경에서 진행되었으며, IQ4_XS와 같은 고용량 모델에서도 0 dropped experts를 유지하며 100% 바이트 단위 일치를 확인했다. 기존 사용자들의 IQ2_XS보다 높은 4비트 양자화 모델 구동 및 메모리 대역폭 구성에 대한 피드백을 반영한 결과이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact
원문 보기 ↗