참고팁Reddit
Ollama VRAM 50GB 제한 이슈 해결 가이드
로컬 LLM 실행 시 특정 VRAM 이상을 활용하지 못하는 문제 해결. 윈도우 환경 및 Ollama 로그를 통한 디버깅.
요약
AMD Ryzen AI MAX 395 기반의 윈도우 11 노트북 환경에서 Ollama 사용 시 VRAM을 50GB 이상 활용하지 못하는 문제가 보고되었습니다. 사용자 기기는 128GB Unified RAM 중 96GB를 VRAM으로 할당했으나, Minstral Medium 3.5 128b q4 모델 실행 시 메모리 부족 오류가 발생하고 있습니다. Ollama 로그 확인 결과, 모델 구동에 약 80GB가 필요함에도 시스템이 50GB까지만 오프로드하고 추가 자원을 확보하지 못하는 것으로 확인되었습니다. 작업 관리자상에서도 할당된 96GB 중 50GB만 사용 중인 것으로 나타나 하드웨어 제약보다는 소프트웨어적 구동 방식의 문제로 추정됩니다. 현재 커뮤니티에서는 리눅스 기반 서버 환경과의 차이점 등을 분석하며 해결책을 모색하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ollama not utilizing more than 50GB VRAM
원문 보기 ↗