llama.cpp, MoE 모델 오프로딩 최적화 PR 공개

요약

llama.cpp의 GitHub 저장소에 'llama_moe_cache: run missed experts on CPU'라는 제목의 Pull Request #30966이 등록되었습니다. 이번 업데이트는 Mixture of Experts(MoE) 모델을 구동할 때 VRAM 부족 문제를 겪는 사용자들에게 중요한 성능 개선을 제공할 것으로 기대됩니다. 핵심 기능은 VRAM에 전부 올리지 못한 전문가(expert) 모델을 CPU에서 구동하도록 처리하는 방식을 포함하고 있습니다. 이를 통해 VRAM이 부족한 환경에서도 MoE 모델의 효율적인 오프로딩(offloading)이 가능해집니다. 현재 해당 PR에는 모델 성능 최적화를 위한 튜닝 스크립트가 포함되어 있어 사용자들이 더욱 세밀하게 환경을 설정할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.