참고팁Reddit
RTX 3060에서 DeepSeek-V4.1(딥시크 V4.1)-Flash 구동 엔진 'PROMETHEVS' 공개
5년 된 게이밍 PC에서 최신 모델을 구동하는 최적화 기법. 로컬 환경에서 추론 효율성 극대화 가능.
요약
5년 된 게이밍 PC(Ryzen 9 3950X, 64GB RAM, RTX 3060 12GB) 환경에서 510GB 규모의 DeepSeek-V4.1-Flash-1017 모델을 구동하는 PROMETHEVS 엔진이 공개되었다. 이 엔진은 모델을 VRAM, RAM, NVMe 드라이브에 스트리밍하며 '압축 후 보정(compress-then-correct)' 방식을 활용해 98.3%의 정확도를 유지한다. 구체적으로 모든 토큰을 2비트 사본으로 우선 계산하고, 모델이 불확실하다고 판단할 경우 FP4 가중치와 보정 평면을 사용해 재계산하는 원리다. 또한 DeepSeek의 드래프트 헤드를 활용해 5개 토큰 단위로 블록을 제안함으로써 전문가 모델 읽기 효율을 높였다. 실제 테스트 결과, 코드 프롬프트(160 토큰) 기준 최대 7.4 tok/s의 추론 속도를 기록했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Full DeepSeek-V4.1-Flash-1017 (510 GB, original weights) on a 64 GB RAM + RTX 3060 12 GB PC: up to 7.4 tok/s, 98.3% agreement with the full model. Engine released
원문 보기 ↗