참고팁Reddit
문서와 코드베이스 간 정합성 자동 검증 도구
Agent가 작성한 문서 내 주장이 실제 코드와 일치하는지 확인해 주는 오픈소스 툴킷 공개.
요약
RAG Techniques 레포지토리 운영자가 자신의 프로젝트 문서와 실제 코드 간의 불일치를 확인하기 위해 개발한 오픈소스 툴킷을 공개했다. 개발자는 Claude에게 프로젝트에 관한 질문을 던져 'SURE', 'GUESS', 'WOULD-HAVE-TO-LOOK'으로 답변 신뢰도를 분류하게 했으며, 그 결과 문서에 명시된 계획이 실제 스택으로 오인되는 등의 오류를 발견했다. 또한, 작성한 문서와 실제 코드를 대조해 README와 사양서에 포함된 5개의 거짓 정보를 찾아냈다. 이 툴킷은 기존에 운영 중인 에이전트에 한 줄의 명령어를 추가하는 것만으로 바로 활용할 수 있다. 관련 상세 내용은 GitHub의 NirDiamant/Agentic_Engineering 레포지토리에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I maintain the RAG Techniques repo (29k stars). I just open sourced the kit I use to check which lines in my agent's CLAUDE.md are guesses, and which claims in my docs the code disproves
원문 보기 ↗