참고Reddit
Unsloth, Qwen3.8(큐원 3.8)-27B용 다이내믹 GGUF 업데이트: 주요 벤치마크 5-10% 성능 향상
로컬 LLM 양자화 모델의 효율성이 개선됨. 27B 모델 운용 시 최신 버전 적용 고려.
요약
Unsloth Dynamic v3.1 GGUF 버전이 Qwen3.8-27B 모델을 위해 새롭게 공개되었다. 이번 버전은 DeepSWE 및 Terminal Bench 등에서 기존 UD3, GSQ-RCO, Exllama-3 대비 5~10% 향상된 정확도를 기록했다. 2비트에서 6비트까지의 모든 양자화 버전이 업데이트되었으며, 3비트 버전은 기존 UD3와 성능이 유사해 업데이트에서 제외되었다. 벤치마크는 에이전트 성능 평가를 위해 256K 컨텍스트를, 그 외에는 128K를 기준으로 수행되었으며 정확성을 위해 다수 반복 측정했다. 향후 Qwen4 모델에도 해당 최적화 알고리즘을 적용하여 효율적이고 정확한 양자화를 지원할 예정이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 New Qwen3.8-27B Unsloth Dynamic V3.1 GGUFs
원문 보기 ↗