참고X
Artificial Analysis, LLM 평가 벤치마크 'AA-Omniscience v1.1' 공개
모델 지식 및 할루시네이션 측정 벤치마크 업데이트. 오픈 데이터셋 제공으로 자체 모델 평가 시 활용 가능.
요약
Artificial Analysis는 AI 모델의 지식과 환각을 측정하는 벤치마크 'AA-Omniscience v1.1'을 공개했다. 이번 업데이트로 데이터셋은 기존 6,000개에서 3,000개 문항으로 축소되었으며, 중복되거나 모호한 질문을 제거하고 난이도를 조정한 신규 300개 문항의 퍼블릭 세트가 Hugging Face에 추가되었다. 새로운 벤치마크에서는 Gemini 4 Carbon(high)이 Net Score 54점으로 1위를 차지했으며, 뒤를 이어 Claude Opus 5.5(48점)와 Claude Fable 5.1(46점)이 상위권을 기록했다. 전반적으로 v1 대비 모델들의 Net Score는 평균 약 2점, 정확도는 1.5%p 하락하는 경향을 보였다. 특히 MiniMax M3.1 Flash(-22점)와 MiMo V2.6 Pro(-13점) 등 일부 모델에서 큰 폭의 점수 하락이 나타났다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ArtificialAnlys: We’ve released AA-Omniscience v1.1, updating our knowledge and reasoning benchmark with a refreshed public set, removal of saturat
원문 보기 ↗