참고팁Reddit
Qwen3.8(큐원 3.8)-Flash-Next 로컬 구동: 64GB RAM + RTX 5060 Ti 세팅 공유
대용량 RAM을 활용하여 모델 가중치를 물리 메모리에 올리는 효율적인 로컬 추론 설정.
요약
한 사용자가 64GB RAM과 RTX 5060 Ti 16GB GPU를 탑재한 전용 추론 PC 환경에서 Qwen3.8-Flash-Next UD-IQ4_XS 모델을 안정적으로 구동하는 사례를 공유했다. 시스템 가용 RAM 63.8GB 중 55.43GB(약 87%)를 모델의 라우팅된 전문가 가중치를 물리 메모리에 고정하는 데 할당하여 하드웨어 자원을 최대로 활용했다. 나머지 구성으로는 Strata 0.1.47을 사용하여 GPU 전문가 캐시 및 런타임 할당에 13.39GB의 VRAM을 사용했다. 26.82GB의 PLE 테이블은 디스크에 저장한 뒤 필요할 때마다 읽어오는 방식을 채택했다. 해당 설정은 전용 추론 환경에서 안정적인 성능을 보이고 있으며, 운영체제와 기타 프로세스를 제외한 가용 RAM은 1~2GB 수준으로 최적화되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Making the most of 64 GB RAM: Qwen3.8-Flash-Next UD-IQ4_XS on an RTX 5060 Ti 16 GB
원문 보기 ↗