NVIDIA DGX Spark 유저 주목: DeepSeek-V4-Flash 단일 유닛 구동 가능

요약

DGX Spark 사용자는 이제 단일 유닛만으로 DeepSeek v4 Flash 0731 모델을 구동할 수 있게 됐다. 이번 최적화는 EXL3 양자화와 NVFP4 KV 캐시 적용, 업스트림 프리필(prefill) 경로의 커널 버그 수정을 통해 달성했다. 이를 통해 384k 컨텍스트(최대 약 440k KV 캐시) 환경에서 초당 47 토큰의 단일 스트림 생성 속도와 초당 1024 토큰의 프리필 성능을 제공한다. 특히 370k 토큰 니들(needle) 테스트를 통과하며 높은 코드 생성 품질과 안정성을 확보했다. SparkInfer 및 DSpark 추론 가속과 결합하여 Q4_K_M 또는 Q5 GGUF 모델과 동등한 품질을 구현한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.