참고Reddit
llama.cpp 기반 MoE 모델 SSD 오프로딩 인퍼런스 엔진 공개
VRAM 부족 환경에서도 SSD를 활용해 대형 MoE 모델을 효율적으로 구동 가능. 로컬 LLM 운영 시 참고.
요약
llama.cpp 기반의 새로운 추론 엔진이 MoE 모델의 라우팅된 전문가(routed experts)를 SSD에 최대 60~70%까지 오프로드할 수 있는 기술을 공개했다. 이 방식은 SSD 스트리밍으로 인한 토큰당 지연 시간을 1~3ms 수준으로 최소화하여, 마치 전체 모델이 메모리에 있는 것처럼 동작하게 만든다. 하드웨어 사양과 모델 메타데이터를 분석해 2분 내에 최적의 성능 설정을 찾아주는 오토튜너(autotuner) 기능도 개발 중이다. 또한, 배치 처리 대신 레이어별 계산 방식을 적용해 RAM에 오프로드된 모델의 프리필(prefill) 속도를 기존 대비 2배 향상시켰다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 SSD MoE finally viable!
원문 보기 ↗