중요X
GPT-6(지피티 6) Astra, 물리 벤치마크서 전문가 오답 지적…검증 결과 정답률 98%로 상향
벤치마크 정답지 자체 오류를 모델이 역검출한 사례. 자동 채점·레이블 신뢰성 재점검 필요.
요약
최근 OpenAI의 차세대 모델로 추정되는 GPT-6 Astra가 물리학 벤치마크 테스트에서 80% 이상의 점수를 기록했습니다. 테스트 과정에서 GPT-6 Astra는 전문가들이 도출한 결과가 틀렸다고 주장하며 자신의 계산값이 정확하다고 반박했습니다. 이후 연구팀이 해당 계산을 재검증한 결과, 실제로 GPT-6 Astra의 계산이 옳은 것으로 확인되었습니다. 이로 인해 해당 물리학 벤치마크의 점수는 최종적으로 98%로 수정되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @freddier: GPT-6 Astra got +80% on a Physics benchmark. It insisted the expert results were wrong and its calculations were right. A team che
원문 보기 ↗