참고팁Reddit
DeepSeek-V4.1(딥시크 V4.1)-Flash-1017 GSQ-RCO 양자화 모델 배포
GSQ-RCO 기법이 적용된 로컬용 양자화 모델 허깅페이스 공개. 로컬 환경에서 즉시 실행 가능.
요약
ISTA-DASLab이 GSQ-RCO 스마트 양자화 기법을 적용한 DeepSeek-V4.1-Flash-1017 모델을 새롭게 공개했다. 해당 모델의 양자화 버전은 허깅페이스(Hugging Face)를 통해 이용할 수 있다. 다만, 현재 llama.cpp의 공식 아키텍처 지원이 병합되지 않아 해당 라이브러리에서는 직접 구동이 불가능한 상태다. 이와 관련하여 관련 아키텍처 지원을 위한 풀 리퀘스트(PR)가 진행 중이다. 모델 카드에 언급된 Strata 지원은 기존 Qwen3.8-Flash-Next 전용일 가능성이 높아, 실제 구동 시 포크 버전인 Xolotl이나 Maya 활용이 권장된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO
원문 보기 ↗