참고Reddit
ISTA, 1비트 양자화 'DeepSeek-V4.1(딥시크 V4.1)-Flash-1017' 코딩 모델 공개
전문가 네트워크 절반을 제거해 763B 모델을 1비트급으로 압축. 로컬 환경에서 거대 모델을 효율적으로 돌리는 새로운 실험 사례.
요약
ISTA가 763B 파라미터 규모의 DeepSeek-V4.1-Flash-1017 모델을 기반으로 한 1비트 코딩 특화 모델을 공개했다. 이번 모델은 GSQ(Gradient-based Sparse Quantization) 및 RCO 압축 기술을 적용하고, 기존 384개의 라우팅 전문가 중 절반을 제거하여 효율성을 높였다. 전체 트랜스포머 파라미터 551.9B 중 유지된 280.1B 파라미터는 평균 2.06비트로 저장되며, 모델 전체 기준으로는 1비트 수준의 압축률을 달성했다. 결과적으로 GGUF 형식의 파일 용량은 72.1GB로 줄어들어 원본 모델 대비 크게 경량화되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [Release] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: a 763B model at 1 bit per parameter
원문 보기 ↗