중요팁Reddit
64GB RAM+RTX 3060에서 510GB DeepSeek-V4.1(딥시크 V4.1)-Flash 풀 구동 엔진 'PROMETHEVS' 공개 (Apache-2.0)
2비트 압축 후 불확실한 토큰만 원본 가중치로 재계산. 저사양 로컬 추론에 7.4tok/s·98.3% 일치 달성.
요약
510GB 규모의 원본 모델 DeepSeek-V4.1-Flash-1017을 일반 PC 환경인 Ryzen 9 3950X, 64GB RAM, RTX 3060 12GB 조합에서 구동하는 기술이 공개되었다. 이번 구동은 새로 개발된 PROMETHEVS 엔진을 통해 가능하며, Apache-2.0 라이선스로 오픈소스로 배포되었다. 핵심 기술인 'compress-then-correct' 방식은 모든 토큰을 2비트 버전으로 우선 계산하고, 모델이 불확실하다고 판단할 경우 FP4 원본 가중치로 재계산하여 정확도를 확보한다. 해당 엔진은 VRAM, RAM, NVMe 드라이브를 활용해 데이터를 스트리밍하며, 이를 통해 원본 모델 대비 98.3%의 일치율을 보인다. 실제 테스트 결과, 160 토큰 코드 프롬프트 기준 최대 7.4 tok/s의 속도를 기록했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Full DeepSeek-V4.1-Flash-1017 (510 GB, original weights) on a 64 GB RAM + RTX 3060 12 GB PC: up to 7.4 tok/s, 98.3% agreement with the full model. Engine released (Apache-2.0)
원문 보기 ↗