Ollama 기반 로컬 메모리 시스템 'Hillock' 공개

요약

Hillock은 무거운 벡터 데이터베이스 없이도 Ollama 기반 로컬 모델에 지속적인 문서 기억 기능을 제공하는 SQLite 기반 메모리 시스템이다. 기존 로컬 RAG 방식이 과도한 VRAM 사용으로 모델 속도를 저하시키는 문제를 해결하기 위해 개발되었다. 이 시스템은 300MB 미만의 소형 모델을 사용하여 약 5초 만에 문서에서 핵심 사실을 추출하고 이를 SQLite 데이터베이스에 저장한다. 질문 시 하이퍼벡터 수학을 활용해 관련 지식 유무를 먼저 판단함으로써 모델의 환각 현상을 효과적으로 방지한다. 또한 CLI의 /model 명령어를 통해 사용자의 Ollama 모델을 자동으로 감지하고 연동할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.