참고팁X
Claude Code(클로드 코드)로 구축하는 '세컨드 브레인' 자동화 도구 'Crawlster'
개인 노트와 자료를 자동으로 인덱싱하고 위키화하는 파이프라인. Claude Code(클로드 코드)를 활용한 실무적 로컬 자동화 사례.
요약
X 사용자 @MyWestLord가 개인 지식 관리 시스템(Second Brain) 자동화 도구인 'Crawlster'를 개발했다. 이 도구는 PDF, 팟캐스트 트랜스크립트, 북마크 등 방대한 원본 데이터를 매일 밤 자동으로 수집하고 필터링해 위키 페이지로 정리 및 링크를 생성한다. 'Claude Code'를 두뇌로 사용하며 Python 기반의 Playwright, BeautifulSoup, pypdf, Whisper 등을 활용해 데이터를 처리한다. 안드레 카파시(Karpathy)의 'LLM Wiki' 개념을 차용하여 컨텍스트 엔지니어링을 자동화하는 것이 핵심이다. 메모리 저장소로 Markdown과 YAML을 사용하고, 데이터 인덱싱은 SQLite로 관리하며 Obsidian 연동은 TypeScript를 통해 구현했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @MyWestLord: I BUILT CRAWLSTER AND LET IT LOOSE INSIDE MY SECOND BRAIN. Crawler + roadster. 8 legs to walk your notes, jets to fly over the vau
원문 보기 ↗