로컬 인프라(Epyc/RTX 5090)서 구동한 DeepSeek-V4-Flash 실사용기

요약

한 사용자가 Epyc 7663 CPU, 256GB ECC DDR4-3200 메모리, RTX 5090 32GB GPU를 탑재한 로컬 추론 시스템 환경을 공유했다. 해당 시스템에서 약 151GB 무게의 deepseek-v4-flash-0731 모델(UD-Q8_K_XL 양자화 버전)을 구동한 결과, 23.8~24.6 tokens/sec의 추론 속도를 기록했다. 100~128k 규모의 총 컨텍스트 환경에서 테스트가 진행되었으며, 캐싱 등을 통해 프롬프트 처리 성능이 최적화되는 양상을 보였다. 기존 DFlash 사용이나 RTX 3090 환경보다 현재 구성에서 더 나은 성능을 확인했다. 고가의 장비 없이도 로컬 환경에서 대규모 모델 구동이 가능하다는 점을 보여주는 유의미한 데이터 포인트로 평가된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.