중요AI타임스
아티피셜 애널리시스 평가 전면 개편…Gemini 4(제미나이 4) Carbon 1위·OpenAI(오픈AI) 약진
벤치마크 비공개 데이터 비중 60%로 상향, 공개 문제 암기형 고득점 걸러짐. 모델 선정 기준 재점검 필요.
요약
글로벌 AI 모델 평가업체인 아티피셜 애널리시스(AA)가 종합 성능 평가 기준을 대폭 개편하며 주요 모델의 순위가 급변했다. 구글의 최신 모델인 '제미나이 4 카본'이 기존 1위였던 앤트로픽의 '클로드 오퍼스 5.5'를 제치고 새롭게 1위에 올랐다. 오픈AI의 'GPT-6 아스트라'와 'GPT-6.1 솔' 역시 상위권으로 도약하며 경쟁력을 입증했다. 이번 개편은 단순 지식·추론 비중을 조정하고 실제 코딩 및 과학 연구 수행 능력을 강화하는 방향으로 진행되었다. 특히 비공개 데이터를 활용하는 비중을 60%까지 높여 모델이 공개 문제를 미리 학습해 점수를 높이는 편향 문제를 방지했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AAII 평가 대폭 개편에 순위 변동…구글 1위·오픈AI 약진
원문 보기 ↗