참고Reddit
로컬 LLM용 경량 메모리 엔진 'Hillock' v0.4 공개
1.2GB VRAM 환경에서 SQLite 기반으로 작동하는 RAG/메모리 엔진. 로컬 에이전트 구축 시 참고할 만함.
요약
Hillock v0.4는 로컬 LLM 워크플로우를 위해 설계된 오픈소스(AGPL-3.0) 메모리 엔진으로, 무거운 벡터 데이터베이스 없이 문서를 처리합니다. 이 엔진은 CUDA 바이 인코더 파이프라인(Fastcoref, MiniLM, GLiREL)을 사용하여 문서를 SQLite SPO 트리플 형태로 약 5초 만에 파싱합니다. 질의 게이팅과 참조 해결은 CPU에서 1ms 미만으로 수행되며, 쿼리가 게이트를 통과할 때만 최종 응답 렌더링을 위해 Ollama를 통한 로컬 LLM이 호출됩니다. v0.4 버전에서는 O(1) 유형 스키마 제약 조건, 역관계에 대한 자동 방향 보정, 정규표현식 기반 엔티티 클리닝 기능이 추가되었습니다. 해당 시스템은 GTX 1070 기준 1.2GB 미만의 VRAM 환경에서 초당 6~8문장을 처리할 수 있는 효율성을 갖췄습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Hillock v0.4 – FOSS neuro-symbolic memory engine for local LLMs (<1.2GB VRAM)
원문 보기 ↗