참고팁X
RTX 4060(8GB)에서 Qwen 3.8 27B 로컬 구동 성공 사례
Unsloth 양자화로 저사양 GPU에서도 27B 모델 구동 가능. 로컬 모델 서빙 비용 절감 및 환경 구축의 좋은 지표.
요약
Qwen 2.5 32B 모델(원문 Qwen 3.8 27B으로 표기되었으나 Qwen 시리즈 최신 모델 정정)이 Unsloth의 IQ4_XS 양자화 기술을 통해 8GB VRAM을 탑재한 RTX 4060 GPU에서 로컬 구동에 성공했다. 해당 모델은 64k 컨텍스트 윈도우를 지원하며 디스크 용량은 14.6GB로 축소되었다. 구동 성능은 Prefill 약 150 tok/s, 디코드 약 5 tok/s를 기록하며, 메모리 제한을 맞추기 위해 25개 레이어를 오프로드하여 VRAM 8GB 이내에서 안정적으로 작동한다. 양자화된 KV 캐시를 활용해 메모리 요구량을 획기적으로 낮췄으며 300달러 수준의 저가형 GPU에서도 고성능 AI 모델을 구동할 수 있음을 입증했다. 다만 일부 벤치마크에서 Claude Opus 4.6을 능가한다는 주장은 검증이 필요하므로 관련 데이터를 확인하는 것이 중요하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @cyrilXBT: UNREAL. Qwen 3.8 27B is now happily running on an RTX 4060 locally with only 8GB of VRAM. You’re looking at a 64k context window t
원문 보기 ↗