코딩 에이전트 비용 측정의 함정: '토큰 가격'보다 중요한 것은 '검증된 작업당 비용'

요약

Databricks의 벤치마크 결과, 다국어 코드베이스 환경에서 코딩 에이전트의 효율성을 측정할 때 단순 토큰 가격은 실제 엔지니어링 작업의 총비용을 예측하는 데 부적합한 것으로 나타났다. 테스트 결과 동일한 모델이라도 어떤 'harness(제어 도구)'를 사용하느냐에 따라 비용이 2배 이상 차이 났으며, 특정 harness는 컨텍스트 사용량을 3배 줄이면서도 유사한 품질을 유지했다. 따라서 단순히 토큰당 비용이나 패스율만 볼 것이 아니라, 모델·도구·컨텍스트·재시도 비용을 모두 포함하여 검증된 작업 완료 기준의 비용을 산출해야 한다. 코딩 에이전트의 실질적 비용 효율성은 컨텍스트 구성 방식, 오류 요약 방법, 테스트 실행 시점, 재시도 제어 등 harness의 운영 전략에 크게 좌우된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.