중요팁Reddit
PR 위험 검사에 Sonnet 토큰 1.5만 낭비 그만: Jev(60ms)+호출 그래프로 정확도 100%, 건당 $0.000006
코드 리뷰 에이전트에서 무거운 LLM 대신 고속모델+정적 호출그래프 조합 검토 가치 있음
요약
코딩 에이전트나 자동화된 코드 리뷰 워크플로우에서 모델의 비용과 정확성 문제를 해결하기 위해 'Jev'와 'Repowise'의 콜 그래프를 결합한 새로운 방식이 제시되었습니다. 기존 Claude 3.5 Sonnet을 사용할 경우 1만~2만 토큰 소비로 건당 0.05달러의 비용과 6~10초의 시간이 소요되지만, 여전히 간접적인 호출 관계를 놓치는 문제가 있었습니다. 반면 Jev와 같은 빠른 모델은 60ms의 속도와 0.04달러/M 토큰의 저렴한 비용을 제공하지만 코드베이스 맥락을 파악하지 못해 잘못된 판단을 내리기 쉽습니다. 이를 보완하기 위해 Jev에 Repowise의 콜 그래프 정보를 함께 제공한 결과, 벤치마크 테스트에서 100%의 정확도를 기록했습니다. 이번 결합을 통해 코드 리뷰 검사 비용을 건당 0.000006달러 수준으로 대폭 낮추면서도 높은 신뢰성을 확보할 수 있게 되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Stop burning 15,000 tokens on Sonnet just to check PR risk: How pairing Jev (60ms) with Repowise’s call graph reached 100% accuracy in our benchmark for $0.000006 per check
원문 보기 ↗