DeepSeek v4.1(딥시크 4.1) Flash 1017 로컬 최적화 가이드: 2-bit/FP8 양자화 적용

요약

DeepSeek v4.1 Flash 1017 모델을 위한 새로운 비전 타워가 Dwarfstar(ds4) 환경에서 구현 및 양자화되었다. 이번 구현은 기존 DS4.1 Q2 방식과 동일하게 2비트 라우팅 전문가 모델에 8비트 이상의 가중치를 적용하고 FP8 잉그램 테이블을 결합하는 방식을 따랐으며, imatrix는 원본 체크포인트가 아닌 1017 버전에서 빌드되었다. 모델의 핵심 백본은 약 150GB 용량으로, 128GB 시스템에서도 SSD 스트리밍을 통해 라우팅 전문가 데이터를 핫 캐시에 유지할 수 있다. 이 구조를 통해 M5 Max 시스템 기준 최대 20tps의 디코딩 속도를 지원한다. 약 200GB 규모의 잉그램 테이블은 RAM에 상주하지 않고 SSD에서 온디맨드 방식으로 페이징 처리된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.