참고Reddit
Artificial Analysis 지수 v5 논란: 폐쇄적 벤치마크 방식과 오픈 모델 순위 하락
모델 성능 평가 지표의 신뢰성과 벤치마크 데이터의 중립성을 재점검하게 만드는 이슈.
요약
최근 공개된 Artificial Analysis의 인텔리전스 인덱스 v5가 평가 방식 변경으로 인해 논란에 휩싸였다. 이번 업데이트에는 비공개 데이터셋을 활용한 '프라이빗 테스트' 항목이 새롭게 추가되었는데, 이로 인해 기존 상위권이었던 오픈 웨이트 모델들의 순위가 급락했다. 특히 Kimi 3.1 Pro, Deepseek 4.1 Flash, Xiaomi mimo v2.6 Pro 등의 오픈 모델들이 이번 지수에서 큰 폭의 인텔리전스 포인트 하락을 겪었다. 반면, 지수 발표 직후 공개된 구글의 신규 모델 Carbon 4가 즉시 인덱스 최상단에 배치되어 평가의 객관성에 대한 의문이 제기되고 있다. 실무자들 사이에서는 특정 기업의 모델을 우대하기 위해 평가 기준이 조작된 것이 아니냐는 비판적인 시각이 확산하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 New AA intelligence index v5 with “Private tests” conveniently upranks GPT, Google’s models, while open weights chinese models downrank
원문 보기 ↗