Mac mini M4 Pro에서 Qwen3.8(큐원 3.8)-Flash-Next 구동기

요약

한 사용자가 Mac mini M4 Pro(24GB RAM)에서 Qwen3.8-Flash-Next(125B) 모델을 구동하는 최적화 실험 결과를 공유했다. ISTA Lab의 GSQ RCO IQ3 XXS 양자화를 적용한 이 모델은 초기 3 tok/s 미만이었던 생성 속도가 최적화 후 짧은 프롬프트 기준 11 tok/s, 긴 문맥 기준 8.5 tok/s까지 향상됐다. 프리필 속도는 180 tok/s를 달성했으며 최대 65K 토큰의 문맥 길이를 지원한다. 추론 전 과정에서의 피크 메모리 사용량은 9.5GB로 측정됐다. 현재 코딩 에이전트와 연동하여 10K 토큰 이상의 문맥에서 테스트를 진행 중이며, 추가적인 코드 안정화 작업을 거치고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.