실무 에이전트 성능 측정을 위한 벤치마크 지표 비교: Agent Index

요약

r/LLMDevs에서 화제가 된 Agent Index는 브라우징, 터미널 사용, 코딩, 문서 이해 등 7가지 실무 에이전트 작업 능력을 종합 평가하여 모델 성능을 비교한다. 이 지수는 독립적인 평가 결과와 벤치마크 데이터를 정규화하고 가중치를 적용해 산출하며, 7개 평가 항목을 모두 충족한 모델만 순위에 포함된다. 11월 기준 총 26개 모델이 평가 대상에 올랐으며, Opus 5.5가 90.4점으로 1위를 기록했다. 이어 Astra가 87.6점, Sonnet 5.5가 85.8점으로 뒤를 이었다. 해당 점수는 성공률이 아닌 상대적인 종합 점수이며, 현재 개발자는 벤치마크 간 중복성 및 평가 기준의 적절성에 대한 추가 검증을 진행하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.