참고팁Reddit
Qwen3(큐원 3)-4B 로컬 추론 성능 최적화: 1.24GB 초소형 8-state trellis 양자화
llama.cpp 활용 시 로컬 모델 용량 대비 성능 극대화 가능. 온디바이스 AI 경량화 시 참고.
원문 제목 Qwen3-4B in 1.24 GB at perplexity 16.6 (IQ2_XXS at the same size: 28.6) - a tiny 8-state trellis quant for llama.cpp
원문 보기 ↗