코딩 에이전트 성능, '성공적인 PR당 비용' 지표의 함정

요약

코딩 에이전트의 성과 지표로 '성공적인 PR당 비용(Cost per successful PR)'이 중요해지고 있으며, 이는 Baseten과 같은 추론 제공업체가 핵심 지표로 강조하고 있다. 실제 테스트 결과, 'GPT-6 Luna low' 모델은 성공당 0.26달러로 가장 높은 비용 효율성을 기록했으나, 전체적인 코드 패치 품질 비교에서는 0승 13패로 최하위를 기록했다. 반면, 'GPT-6.1 Sol medium' 모델은 성공당 2.64달러로 품질 면에서 가장 우수한 성능을 보였으나, 비용 효율성 기준으로는 7위에 그쳤다. 이번 측정은 깃(Git) 기록 기반의 24개 작업을 대상으로 실패한 시도까지 포함한 비용을 산출한 것이다. 단순히 비용 중심의 지표만을 기준으로 모델을 선택할 경우 품질 저하라는 역설적 결과를 초래할 수 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.