중요팁X
DeepSeek V4 Flash 0731, 로컬 구동 지원… 4-bit는 168GB, 3-bit는 110GB RAM
V4 Pro 능가 성능을 Unsloth·llama.cpp로 온프레미스 구동 가능. 데이터 민감 환경서 자체 서빙 검토 가치.
요약
UnslothAI가 DeepSeek V4 Flash 0731 모델을 로컬 환경에서 실행할 수 있도록 지원한다고 밝혔다. 해당 모델은 4비트 양자화 시 168GB RAM, 3비트 양자화 시 110GB RAM 환경에서 무손실 실행이 가능하다. DeepSeek V4 Flash 0731은 성능 면에서 기존 V4 Pro를 상회하는 결과를 보여준다. 사용자는 Unsloth 또는 llama.cpp를 통해 모델을 구동할 수 있으며, 향후 더 작은 규모의 양자화 버전도 공개될 예정이다. 구체적인 실행 가이드와 GGUF 파일은 공식 링크를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @UnslothAI: DeepSeek V4 Flash 0731 can now be run locally! 🐳 Run DeepSeek V4 Flash lossless 4-bit on 168GB RAM and 3-bit on 110GB RAM. V4 Fla
원문 보기 ↗