Obsidian(옵시디언) Agent Kit 벤치마크: LLM 에이전트 토큰 사용량 최적화 실험

요약

UPHASH 팀은 임베딩이나 벡터 데이터베이스를 사용하지 않고도 문맥을 효율적으로 검색하는 Obsidian Agent Kit의 성능 테스트 결과를 공유했습니다. 36개 세션과 144번의 턴을 통해 Codex, Claude Code, Cursor를 대상으로 토큰 절감률을 측정한 결과, Codex가 53.2%, Claude Code가 48.0%, Cursor가 40.7%의 토큰 절감 효과를 보였습니다. 이번 테스트는 관련 섹션 읽기, 기존 컨텍스트 재사용, 작업 재개 시 전체 파일 해시 확인 방식을 활용하여 진행되었습니다. 구체적인 방법론과 테스트 워크로드 등 상세 결과는 UpHash-Network의 GitHub 저장소에서 확인할 수 있습니다. 실무자들은 해당 벤치마크를 참고하여 향후 더 강력한 성능 측정 기준을 수립할 수 있을 것으로 기대됩니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.