개인용 로컬 RAG 시스템 구축 사례: 1만여 개 노트의 지식화

요약

스탠포드의 한 26세 개발자가 2년간 11,400개의 Obsidian 노트를 인공지능 신경망으로 변환하여 문장을 자동 완성하는 개인 지식 시스템을 구축했다. 그는 단순히 정보를 저장하는 대신 검색을 핵심 제품으로 삼고, 노트를 200자 이하의 독립된 주장으로 재작성하며 1,600개의 유효한 파일로 구조화했다. Ollama와 nomic-embed-text, ChromaDB를 사용하여 데이터를 로컬에서 벡터화했으며, 리랭커(Re-ranker)와 출처 표기 규칙을 적용해 할루시네이션을 획기적으로 줄였다. 시스템은 매일 작성된 글을 분석해 관련성 높은 과거 노트를 추천하며, 사용자에게 질문을 던지는 방식으로 능동적인 상호작용을 제공한다. 결과적으로 논문 초안 작성 시간이 6주에서 9일로 단축되었으며, 총 0달러의 비용으로 지식 저장소가 단순한 아카이브가 아닌 능동적인 사고 파트너로 진화했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.