참고팁Reddit
128GB Mac에서 217GB 모델 구동기: llama.cpp 활용과 메모리 압박 극복
초거대 모델을 제한된 VRAM/RAM에서 실행할 때 GPU 레이어를 조정해 강제 구동하는 실제 시행착오 사례.
요약
한 사용자가 128GB RAM을 탑재한 Mac Studio에서 217GB 용량의 glm-5.3(1-bit GGUF) 모델을 구동하는 데 성공했다. 개인 정보 보호를 위해 클라우드 모델을 사용할 수 없는 회계 자료 분석 업무를 위해 해당 장비를 구매했으나, 모델의 압도적인 크기로 인해 저장 공간이 대부분 소진되었다. llama.cpp를 사용하여 해당 모델을 로드하려 시도했으나, GPU 레이어 설정 시 로드가 불가능하여 이를 끄고 CPU 기반으로 구동해야 했다. 이번 사례는 고용량 로컬 LLM을 실행할 때 발생하는 하드웨어 가용성 및 성능 최적화의 한계를 잘 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Downloaded 217GB of glm- 5.3 onto a 128GB Mac and it technically ran
원문 보기 ↗