로컬 RAG의 대안: 벡터 DB 대신 SQLite 기반 지식 그래프와 VSA 활용 (Hillock v0.5)
벡터 DB의 모호한 검색을 보완하는 신경 기호적 접근. 하드웨어 리소스가 제한된 환경에서 정확한 메모리 검색 구현 시 참고.
요약
Hillock v0.5 프로젝트는 기존 RAG 시스템의 비효율성을 개선하기 위해 벡터 데이터베이스 대신 SQLite 기반의 지식 그래프와 고차원 하이퍼벡터(VSA)를 활용하는 아키텍처를 도입했다. 기존 방식은 엣지 디바이스에서 VRAM 소모가 크고 환각 현상을 제어하기 어려웠으나, Hillock은 이를 신경-기호(neuro-symbolic) 방식으로 분리하여 해결한다. 메모리 저장소로는 사실관계 왜곡이 없는 SQLite 기반의 SPO(Subject-Predicate-Object) 트리플을 사용하여 데이터의 정확성을 보장한다. 문맥과 게이팅에는 10,000차원의 하이퍼벡터를 CPU에서 구동하며, 서브워드 n-gram 및 GloVe SimHash 투영 기술을 통해 1ms 이내의 속도로 쿼리와 팩트 간 유사도를 검사한다. 이번 설계는 저사양 하드웨어 환경에서도 효율적인 로컬 메모리 구축이 가능함을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Why I replaced vector databases with SQLite triples and 10,000-D VSA vectors for local memory (Hillock v0.5)
원문 보기 ↗