참고팁Reddit
DeepSeek-V4.1(딥시크 V4.1)-Flash(763B) 로컬 구동용 153GB 양자화 모델 공개
Xolotl 엔진을 활용해 대형 모델을 단일 PC에서 구동할 수 있는 양자화 모델 배포. 로컬 LLM 사용자 주목.
요약
Xolotl은 Indras가 개발한 Strata 기반 추론 엔진으로, 가중치를 VRAM, RAM, NVMe에 분산하고 필요한 전문가 모델만 호출하는 방식으로 소비자용 PC에서 대규모 DeepSeek-V4.1-Flash 모델을 구동할 수 있게 합니다. 최근 이 엔진을 활용해 DeepSeek-V4.1-Flash-1017(763B) 모델을 153 GiB 용량으로 양자화한 빌드가 공개되었습니다. 해당 모델은 에이전트 및 코딩 워크로드에 최적화된 GSQ 혼합 정밀도 방식을 채택했으며, 512K 컨텍스트와 FP4 KV를 지원합니다. 또한 별도의 abliteration 없이 기본 모델의 동작을 유지하는 Clean build 형태로 제공되어 사용자가 바로 활용할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Xolotl (Strata) + the new DeepSeek-V4.1-Flash-1017 — a 153 GiB quant for everyone
원문 보기 ↗