참고X
Gemini 4(제미나이 4), FrontierMath 벤치마크 성능 기대 이하 평가
수학적 추론 성능에 대한 커뮤니티 비판 제기. 모델 벤치마크 신뢰성 논란.
요약
최근 FrontierMath Tier 4 벤치마크 테스트에서 Google의 Gemini 4가 78%의 점수를 기록하며 기대 이하의 성적을 보였다. 해당 벤치마크는 이미 OpenAI 모델들이 포화 상태에 이를 정도로 높은 성능을 증명하고 있어, 상대적으로 Gemini 4의 결과는 낮은 것으로 평가된다. 그간 구글이 연구 수준의 수학 분야에서 큰 진전을 이루어 왔음에도 불구하고, 이번 벤치마크 결과에서는 그 역량이 충분히 드러나지 않았다는 비판이 제기된다. 업계에서는 구글의 고도화된 추론 모델로 알려진 일명 'Deep Think' 프로젝트의 실제 성과가 이번 테스트에 반영되지 않은 점에 주목하고 있다. 향후 구글이 실제 연구 역량을 벤치마크에서 어떻게 입증할지 귀추가 주목된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @haider1: gemini 4 scores horribly on FrontierMath Tier 4 with openai models already saturating this benchmark, gemini 4's 78% is way below
원문 보기 ↗