참고팁X
DeepSeek V4.1(딥시크 V4.1) Flash 1017 로컬 구동 레시피: 2.9 bpw 퀀타이제이션 최적화
DGX 환경에서 대규모 컨텍스트를 효율적으로 활용하는 구체적인 퀀타이제이션 설정 공유. 로컬 모델 최적화 실무에 유용.
요약
MiaAI_lab은 2개의 NVIDIA DGX Sparks 시스템에서 DeepSeek V4.1 Flash 1017 모델을 구동하는 최적화 레시피를 공개했다. 해당 설정은 1M total KV pool과 512K context를 지원하며, EXL3-EAQv1 양자화 방식(2.9 bpw)을 적용했다. 성능 테스트 결과, 단일 스트림 prose 생성 시 초당 75 토큰, 4개 동시 스트림에서는 초당 130 토큰의 속도를 기록했다. 또한 프리필(Prefill) 단계에서는 초당 2,000~2,175 토큰의 처리 성능을 보여준다. 이번 결과물은 GLM 5.3 Flash와 유사한 수준의 캘리브레이션을 제공하며 관련 코드는 공식 링크를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @MiaAI_lab: Run DeepSeek V4.1 Flash 1017 on 2x DGX Sparks ✨ - 1M total KV pool, 512K context - 75 tok/s on prose, single stream - 130 tok/s on
원문 보기 ↗