벤치마크 지표 간 모델 순위 불일치 논란...평가 기준 재검토 필요

요약

X의 @haider1 계정은 OpenAI의 모델들이 벤치마크 평가에서 실제 성능 대비 저평가되고 있다고 주장했다. 이전 AA Index에서 Astra 6 모델은 sonnet 5.5, muse wonder, kimi k3.1보다 낮은 순위를 기록했으나, 이는 과학 및 추론 분야에서의 실제 강점을 고려할 때 이해하기 어렵다는 지적이다. 실제로 HLE-Diamond 벤치마크 제작자들은 Astra의 성능을 opus 5.5보다 높게 평가하고 있다. 반면 AA Index는 여전히 opus 5.5를 더 상위로 배치하고 있어 벤치마크 데이터 간 불일치가 발생하고 있다. 이번 지적은 AI 모델 평가 지표의 신뢰성과 벤치마크 체계의 적정성에 대한 논의를 촉발하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.