중요X
Artificial Analysis, 인텔리전스 인덱스 v5 공개… '프라이빗 데이터셋' 비중 60%로 확대
벤치마크 오염 회피 위해 비공개 셋 위주 개편. 모델 성능 비교 시 새 기준점 재확인 필요.
요약
Artificial Analysis는 실물 기반 모델 성능 지표인 Intelligence Index v5를 공개하며, 전체 지표의 60%를 비공개 테스트 세트로 구성해 실무적 평가의 정확도를 높였다. 이번 업데이트에는 실무 코딩 능력을 평가하는 FrontierCode 2.0과 과학 연구 과제를 수행하는 Terminal-Bench-Science 등 2개의 벤치마크가 신규 도입되었다. 모델별 성능 평가 결과, Claude Opus 5.5(max)가 58점으로 선두를 차지했으며 Anthropic과 OpenAI 모델이 상위 5위를 독점했다. 오픈 웨이트 모델 간 격차는 12점으로 벌어졌으며, Kimi K3.1 Pro가 해당 분야 최고점인 46점을 기록했다. 상위 10개 모델의 과제당 비용은 최저 0.96달러(GPT-6.1 Terra)에서 최대 13.04달러(Claude Fable 5.1)까지 13배 이상 차이가 나는 것으로 나타났다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ArtificialAnlys: Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades. For the first time, the majority
원문 보기 ↗