Artificial Analysis, 신규 HLE-Diamond 벤치마크 리더보드 공개
Humanity's Last Exam 기반의 1,000개 문제로 구성. Gemini 4(제미나이 4) Carbon과 Claude Opus 5.5(클로드 오푸스 5.5)가 최상위권 기록.
요약
Artificial Analysis는 기존 Humanity's Last Exam(HLE) 데이터셋을 정제한 1,000문항 규모의 'HLE-Diamond' 리더보드를 새롭게 공개했다. 해당 벤치마크는 추론과 지식 영역으로 각 500문항씩 구성되며, 이 중 272개 문항에는 이미지가 포함된다. 평가 결과, Gemini 4 Carbon (high)이 69%로 1위를 차지했고 Claude Opus 5.5 (max)가 68%로 그 뒤를 이었으며, 전체 측정 모델 중 50% 이상의 점수를 기록한 모델은 17개(약 13%)에 불과하다. 분석 대상 모델 대부분은 지식보다 추론 영역에서 더 높은 성과를 보였으며, Gemini 4 Carbon (high)은 추론 80%, 지식 59%로 두 분야 모두에서 선두를 기록했다. 한편 오픈 웨이트 모델들은 최상위권 모델들과 30점 이상의 격차를 보였으며, Kimi K3.1 Pro가 37%로 해당 부문에서 가장 높은 점수를 나타냈다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ArtificialAnlys: We've launched our HLE-Diamond leaderboard, our independent evaluation of the refined 1,000-question version of Humanity's Last Ex
원문 보기 ↗