llama-server 메모리 누수 방지 최적화 팁

요약

Ollama 기반의 로컬 에이전트를 Windows 환경에서 실행하는 과정에서 6GB RAM의 노트북에서 llama-server가 반복적으로 중단되는 문제가 발생했다. 분석 결과, 모델이나 양자화의 문제가 아닌 시스템 메모리 압박이 원인이었다. llama-server는 프롬프트 캐시를 VRAM이 아닌 시스템 RAM에 저장하며 기본 제한값이 8GB로 설정되어 있어, 메모리가 부족한 기기에서 문제를 일으킨 것으로 확인되었다. 사용자는 이를 해결하기 위해 PC의 RAM 사양에 맞춰 프롬프트 캐시 제한을 조정했다. 이와 더불어 개발 중인 에이전트 프로세스 자체의 메모리 누수 현상도 서버 중단의 또 다른 원인으로 지목되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.