참고팁Reddit
8GB VRAM으로 262K 컨텍스트 Qwen(큐원)-Flash-Next 구동 사례
MoE 모델의 파라미터 분할(RAM/VRAM) 전략을 통해 8GB GPU 환경에서 고사양 모델을 효율적으로 실행하는 구체적인 셋업법.
요약
8GB VRAM과 24GB RAM 환경에서 'Qwen-Flash-Next Coder' 모델을 70 T/s 속도로 구동할 수 있는 최적화 방법이 공개되었다. ISTA DASLab이 개발한 이 모델은 GSQ RCO 양자화를 적용한 3.5 BPW(Bits Per Weight) 버전으로, 전체 전문가 모델의 절반을 제거해 1.9비트 양자화 모델 수준의 크기를 구현했다. 구동 방식은 n-gram 데이터는 SSD에, MOE(Mixture of Experts) 대부분은 RAM에, 속도 향상이 필요한 일부 MOE만 VRAM에 배치하는 전략을 취한다. 32GB 메모리 환경에서도 실행 가능하지만, 전체 메모리 용량에 따라 컨텍스트 크기를 조절해야 한다. 1비트 양자화로 오인받기도 하나 실제 가중치는 3.5 BPW를 사용하며, 빠른 실행을 위해 모델을 가장 빠른 SSD에 저장하는 것이 권장된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 8 GB GPU, 262K context 3.5 BPW Qwen-Flash-Next Coder 70 T/s using llama.cpp
원문 보기 ↗