참고팁Reddit
DeepSeek V4 Flash 0731 벤치마크 업데이트: 로컬 환경 성능 데이터 공개
로컬 LLM 실행 시의 벤치마크 데이터. MXFP4 양자화 버전의 처리 속도와 효율성을 구체적인 수치로 확인 가능.
요약
Reddit의 r/LocalLLaMA 커뮤니티에서 DeepSeek V4 Flash 0731 모델에 대한 로컬 벤치마크 업데이트 결과가 공유되었다. 해당 벤치마크는 Bartowski가 제공한 MXFP4 버전을 사용했으며, Dspark 환경에서 프리필(prefill) 1K t/s, 생성(gen) 90 t/s의 평균 속도를 기록했다. DeepSeek V4 Flash 0731은 현재까지의 로컬 벤치마크 중 가장 우수한 효율성과 성능 점수를 보여주며 차트 좌상단 최상위권에 위치했다. 다만, 해당 모델은 비전(Vision) 기능을 지원하지 않는다는 한계점이 있다. 상세한 벤치마크 데이터와 샘플링 파라미터 정보는 게시글에 포함된 링크를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I updated my localy run benchmark with DeepSeek V4 Flash 0731
원문 보기 ↗