2012년 중고 Dell 서버에서 DeepSeek V4.1(딥시크 V4.1) Flash(552B) 구동, 디코드 10 tok/s 달성

요약

한 사용자가 2012년형 Dell R820 서버(4x Xeon E5-4640, 768GB DDR3)를 활용해 552B 규모의 DeepSeek V4.1 Flash 모델을 구동하는 데 성공했다. 초기 설정에서는 초당 0.43 토큰(decode)의 느린 속도를 보였으나, 최적화 과정을 거쳐 9.95 tok/s(decode) 및 101 tok/s(prefill)의 성능을 달성했다. 주요 최적화 전략으로는 ik_llama.cpp의 AVX1 포팅, NUMA 아키텍처를 고려한 CPU 스레드 고정, 그리고 GPU를 활용한 dense 연산 분담이 있었다. 또한 dense 가중치를 BF16 대신 Q6_K 양자화로 변환하고 토큰당 오버헤드를 절감하여 효율성을 크게 높였다. 해당 최적화 패치와 스크립트는 공개된 저장소를 통해 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.