참고X
Gemini 4(제미나이 4)의 FrontierMath 벤치마크 점수에 대한 논란
기존 OpenAI(오픈AI) 모델 대비 저조한 성능으로 인해 연구급 수학 능력에 대한 의문 제기.
요약
최근 FrontierMath 벤치마크 평가에서 OpenAI 모델들이 Tier 4 수준을 이미 포화 상태로 만든 가운데, Google의 Gemini 4가 78%의 점수를 기록하는 데 그쳐 기대치에 미치지 못했다는 평가가 제기됐다. 일각에서는 Google이 수개월 전 연구 수준의 수학 분야에서 큰 성과를 보였음에도 불구하고, 이번 벤치마크에서는 아직 그 역량을 입증하지 못했다고 지적했다. 특히 Google의 추론 모델인 'Deep Think' 기술이 실제 FrontierMath 벤치마크에 어떻게 적용되고 있는지에 대한 의문이 나오고 있다. 업계에서는 향후 Google이 해당 벤치마크에서 어떤 성능을 보여줄지 주목하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @haider1: even though FrontierMath Tier 4 has already been saturated by openai models, Gemini 4 scoring just 78% is way lower than i expecte
원문 보기 ↗