ExLlamav3 업데이트: CPU 오프로드 및 Qwen3.8-Flash 지원 추가

요약

ExLlamaV3에 MoE(Mixture of Experts) 모델의 CPU 오프로드 기능이 새롭게 추가되는 등 대규모 업데이트가 진행되었다. 이번 업데이트를 통해 Qwen-3.8-Flash-Next의 n-gram 디스크 오프로드와 GLM-5.3-Flash 모델에 대한 지원이 강화되었다. 또한, 새로운 자기 보정(self-calibrated) 최적화 기술이 도입되어 모델 추론 성능이 향상되었다. 이 외에도 다양한 최적화와 개선 사항이 반영되어 전반적인 운영 효율성이 높아졌다. NVIDIA GPU 사용자는 최신 버전의 ExLlamaV3를 통해 개선된 모델 구동 환경을 경험할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.