중요팁Hacker News
코딩 에이전트 2.7만 회 분석: 추론 비용의 64%가 '실패한 실행'에 소모됐다
모델 바꿀 땐 하네스도 함께 교체해야 비용·성공률 최적. 모델별 최적 조합이 다름.
요약
Baseten과 협력하여 83B 토큰을 사용한 27,280회의 코딩 에이전트 실행을 분석한 FrontierHarness v1.1 벤치마크 결과가 발표되었습니다. 분석 결과, 전체 추론 비용의 64%가 실패한 실행에 투입되었으며, 모델을 변경할 때 최적의 성능과 비용 효율을 위해 에이전트 하네스(harness)를 함께 교체해야 하는 것으로 나타났습니다. 각 모델별로 가성비가 가장 뛰어난 하네스가 달랐는데, 예를 들어 Codex CLI는 GLM-5.3 사용 시 1위였으나 Kimi-K3 사용 시 16위로 밀려나는 등 하네스 순위 변동 폭이 매우 컸습니다. 전체 모델을 통틀어 가장 비용 효율적인 하네스는 OpenCode v2였으며, 가장 높은 성공률(61.9%)을 보인 하네스는 ZCode로 확인되었습니다. 이번 실험은 모델 변경 시 기존 하네스를 그대로 사용하는 것이 비효율적일 수 있음을 시사하며, 최적의 조합을 찾기 위한 벤치마킹의 중요성을 강조합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 In 27,280 coding agent runs, 64% of inference spend went to runs that failed
원문 보기 ↗