참고Reddit
AI 랩 자체 벤치마크 점수, 독립 테스트 대비 평균 6.4% 부풀려져
모델 성능 지표 해석 시 '랩 자체 발표' 수치를 그대로 신뢰하기보다 교차 검증이 필요함을 시사.
요약
오픈소스 AI 리더보드 'whatmodel.sh'를 개발하는 제이크 맨저(Jake Manger)가 AI 연구소들의 벤치마크 결과와 독립적인 테스트 결과를 비교 분석했다. 총 1,629개의 벤치마크 데이터를 바탕으로 180개 모델의 611개 사례를 비교한 결과, AI 연구소들이 발표한 점수가 독립 테스트 결과보다 평균 6.4% 더 높게 나타났다. 이번 분석은 동일한 모델과 테스트 환경을 기준으로 수행되었으며, 연구소의 자체 평가 결과가 실제 성능보다 낙관적으로 발표될 가능성을 시사한다. 연구자는 분석에 사용된 전체 데이터셋과 소스 코드를 각각 CC BY-SA 4.0 및 MIT 라이선스로 깃허브에 공개했다. 상세한 비교 데이터는 whatmodel.sh의 인터랙티브 차트를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AI labs report benchmark scores 6.4% higher than independent testers, on average
원문 보기 ↗