참고팁Hacker News
CPU와 RAM만으로 대형 모델 구동하는 'llama-modchip' 공개
GPU VRAM 제약 없이 대형 모델(284B 등)을 로컬 환경에서 추론할 수 있는 최적화 도구.
요약
Llama-modchip은 고가의 GPU 없이 64GB RAM만으로 284B 규모의 DeepSeek 모델을 구동할 수 있도록 지원하는 추론 최적화 도구입니다. 이 프로젝트는 NVMe 스왑 없이 100% RAM 내에서 연산을 처리하며, 커스텀 block-64 BF16-scale Gray-coded 텐서(GGML_TYPE_Q2_0, 타입 ID 40)를 사용합니다. 일반적인 llama.cpp나 Ollama, LM Studio에서는 이 텐서 타입을 인식할 수 없으므로, 전용 빌드인 llama-server-modchip 또는 제공된 패치 바이너리를 반드시 사용해야 합니다. 사용자는 windows/AVVIA_MODCHIP.bat 실행을 통해 CPU 코어와 RAM 상태에 맞는 최적의 --n-cpu-moe 설정을 자동으로 적용받을 수 있습니다. 또한 사용자는 터미널 점수를 GitHub 벤치마크 이슈에 공유하여 커뮤니티 CPU 리더보드에 등록할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
원문 보기 ↗