참고팁X
DeepSeek-V4.1-Flash 아키텍처 변경: 요구 VRAM 2배 증가
모델 파라미터 구조 변경으로 요구 VRAM이 2배 증가했습니다. 로컬 실행 시 메모리 할당 최적화 및 하드웨어 사양 재확인이 필요합니다.
요약
Deepseek-V4.1-Flash 모델의 사양이 기존 284B A13B에서 552B A8B/A16B로 변경되었습니다. 모델 크기 증가로 인해 약 2배 더 많은 VRAM 또는 Unified RAM이 요구됩니다. 활성 파라미터(active parameters)는 줄어들어 이론적으로 프리필(prefill) 속도는 약 50% 향상될 것으로 보입니다. 다만, 디코드(decode) 속도는 더 느려질 것으로 분석되었습니다. 변경된 모델을 운영하기 위해 기존 2대의 DGX 유닛으로는 부족하여 2대를 추가 도입할 예정입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @jun_song: Deepseek-V4.1-Flash model size just changed. It went from 284B A13B to 552B A8B/A16B. This means it needs roughly 2x more VRAM or
원문 보기 ↗