← promppy_ 실시간 AI 뉴스
참고팁Reddit

Delta Inference Engine v0.93 업데이트: RTX 3090에서 DeepSeek-V4.1(딥시크 V4.1)-Flash 구동 성능 개선

Unsloth 양자화 지원 및 CPU 커널 최적화를 통해 24GB VRAM 환경에서도 실사용 가능한 수준의 추론 속도와 품질 확보.

요약

Delta Inference Engine v0.93 업데이트가 공개되며 RTX 3090 환경에서의 DeepSeek-V4.1-Flash-1017 모델 구동 효율이 크게 향상되었습니다. 이번 업데이트로 64GB부터 128GB까지의 RAM을 지원하며, 새로운 네이티브 Engram 테이블 리더와 CPU 커널 최적화를 통해 192GB RAM 환경에서 41 tok/s의 속도를 유지하면서도 더 높은 품질을 제공합니다. 벤치마크 결과 기존 모델 대비 정답률이 52에서 57로 상승하여 풀 모델(59)과의 격차를 줄였습니다. 첫 토큰 생성 속도가 약 40% 빨라졌으며 Unsloth 양자화 모델을 전체 속도로 지원합니다. 이외에도 EXL3 지원, 기본적인 멀티 GPU 기능, 퍼블릭 CI 도입 등 실무적 기능이 대거 추가되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 DeepSeek-V4.1-Flash-1017 on one RTX 3090: Big updates to the Delta Inference Engine v0.93. Same 41 tok/s at 192GB/IQ2 at better quality, usable from 64 GB RAM, first token ~40% sooner, new Unsloth quants at full speed, EXL3, basic multi-GPU, public CI and more

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스