참고팁X
Deepseek-v4-flash-0731 로컬 최적화 가이드 및 성능 데이터
262K 컨텍스트를 활용한 로컬 배포 시 토큰 속도와 최적화 설정 정보.
요약
X(구 트위터) 사용자 @0xSero는 단일 DGX Spark 환경에서 구동 가능한 Deepseek-v4-flash-0731 모델의 최적화 버전을 공개했다. 해당 모델은 262K 컨텍스트 윈도우를 지원하며, 디코딩 속도는 33-40 tok/s, 프리필(prefill) 속도는 1000 tok/s를 기록한다. 이번 버전은 18.5% 프루닝(pruning) 처리가 되었으며 exl3-3bit 포맷이 적용되었다. 검증이 완료된 도커(Docker) 이미지가 제공되어, opencode, codex, claude 등과 연동 시 약 1시간 내에 환경 구축이 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @0xSero: Single DGX Spark owners rejoice! Deepseek-v4-flash-0731 - 262K context window - 33-40 tok/s decode - 1000 tok/s prefill - 18.5% pr
원문 보기 ↗