참고팁Reddit
Strata DeepSeek V4.1(딥시크 V4.1) Flash 1017 로컬 구동 벤치마크
RTX 4090 환경에서 11-18 tok/s 성능 확인. 로컬 LLM 구동 시 하드웨어 최적화 가이드라인으로 활용.
요약
레딧의 r/LocalLLM 커뮤니티에서 Strata DeepSeek V4.1 Flash 1017 모델에 대한 구동 성능이 공유되었습니다. RTX 4090 GPU와 96GB DDR5 6800 메모리, PCIe 5.0 4TB NVME 환경에서 IQ2_XXS 양자화 모델을 실행했을 때 11~18 tok/s의 생성 속도를 기록했습니다. 사용자는 해당 모델의 추론 성능이 준수한 편이라고 평가했습니다. 다만 프리필(prefill) 속도가 매우 느리다는 점을 한계점으로 지적했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Strata DeepSeek V4.1 Flash 1017
원문 보기 ↗