중요팁X
오픈소스 'Harness Arena' 공개…모델×구동환경 조합을 나란히 비교
같은 작업을 여러 모델·하네스 조합으로 돌려 비용·속도·성공여부 실측. 에이전트 스택 선정 전 검토 가치.
요약
오픈소스 프로젝트 HarnessRouter가 모델 벤치마킹 환경을 위한 'Harness Engineering 2.0'과 'Harness Arena'를 공개했다. Harness Arena는 하나의 태스크를 Codex, Hermes, Claude code 등 다양한 에이전트 하네스 및 모델 조합에서 동시에 실행해 성능을 비교할 수 있는 환경을 제공한다. 각 설정은 동일한 프롬프트와 도구 등을 사용하며, 통과 여부와 함께 총 비용, 실행 시간, 생성된 아티팩트를 측정한다. 실제로 Hermes + GPT-5.2 조합과 Claude Code + Opus 4.8 조합을 비교했을 때, 비용은 약 474배 차이가 나면서도 성공률은 더 높은 결과가 나타나기도 했다. 실무자는 이 도구를 통해 모델 리더보드에만 의존하지 않고, 실제 프로덕트의 태스크에 가장 적합한 모델과 하네스 조합을 최적화할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: Harness Engineering 2.0 is here! We benchmark models all the time but the harness running the model can dramatically improve the r
원문 보기 ↗