코딩 에이전트의 토큰 낭비 문제: 코드 검색 대신 구조 기반 접근법(sem)

요약

최근 LLM 개발자 커뮤니티에서 코딩 에이전트가 코드 수정보다 검색에 과도한 토큰을 소모하는 비효율성이 지적되었습니다. 현재 에이전트는 검색 시 전체 컨텍스트를 반복 전송하고 파일을 열 때마다 창에 유지하며, 텍스트 기반 편집 실패 시 재시도 과정에서 토큰 비용이 급증하는 구조적 문제를 안고 있습니다. 오픈소스 도구 'sem'은 저장소를 함수 단위로 파싱하여 코드 본문, 호출 관계, 관련 테스트를 한 번에 제공하는 방식으로 검색 횟수를 줄였습니다. 또한, 이미 보유한 정보라면 전체 본문을 다시 보내지 않고 짧은 알림만 전송해 효율을 높였습니다. 편집 시에는 함수 이름 기반의 타겟팅과 버전 검증을 도입하여, 코드가 변경되었을 때 이전 버전의 stale한 편집이 실패하는 문제를 방지했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.