코딩 에이전트 벤치마크의 함정: '하네스'와 '모델' 성능 분리하기

요약

최근 Reddit의 r/LLMDevs 커뮤니티에서는 코딩 에이전트의 성능을 객관적으로 비교하는 방법론이 화두로 떠올랐습니다. 작성자는 모델과 제공자를 비교할 때 에이전트마다 코드 호출 횟수, 파일 참조 방식, 테스트 실행 전략 등이 달라 단순 속도 비교가 어렵다는 점을 지적했습니다. 특정 제공자가 모델 속도가 빠르더라도 에이전트가 선택한 경로에 따라 전체 작업 완료 시간이 크게 달라질 수 있기 때문입니다. 이에 따라 실무자들 사이에서는 하네스(harness)를 고정하고 API 제공자만 변경해야 할지, 아니면 결과적인 총 소요 시간(wall-clock time)만을 중시해야 할지에 대한 논의가 활발합니다. 실질적인 성능 비교를 위해서는 에이전트의 동작 차이를 통제할 수 있는 구체적인 벤치마킹 전략 수립이 필요한 시점입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.