참고팁Reddit
552B 모델 DeepSeek-V4.1(딥시크 V4.1)-Flash를 단일 RTX 4090에서 구동하는 'Xolotl' 엔진
4090 환경에서 대형 모델을 VRAM/RAM/NVMe 분산으로 구동하는 기술적 성과. 로컬 LLM 서버 구축 시 참고.
요약
Strata 기반의 추론 엔진 'Xolotl'을 통해 RTX 4090(24GB) 단일 GPU 환경에서 552B 규모의 DeepSeek-V4.1-Flash 모델을 구동하는 기술이 공개되었다. 이 엔진은 모델 가중치를 VRAM, RAM, NVMe에 분산 배치하여 필요할 때만 전문가 모델을 불러오는 방식을 사용한다. 해당 환경에서 약 27 tok/s의 디코드 속도와 180~320 tok/s의 프리필 속도를 기록하며 512K 컨텍스트를 지원한다. 실제 테스트 결과 HumanEval 21/21, 도구 호출 10/10, 에이전트 버그 수정 루프 3/3을 달성했다. GLM-5.3-Flash, Qwen3.8-Flash-Next 등 다양한 모델도 지원하며, 관련 소스 코드는 GitHub에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Xolotl (Strata based) - DeepSeek-V4.1-Flash (552B) on a single 4090 at ~27 tok/s, Uncensored 1017 quant coming in a couple of days
원문 보기 ↗