참고X
프랑수아 숄레가 밝힌 'ARC-AGI-3' 벤치마크 테스트 기준
벤치마크 측정 방식의 공정성에 대한 전문가 견해. 모델 성능 평가 시 하네스(harness) 설정이 지표 해석에 미치는 영향 확인 필요.
요약
François Chollet는 ARC-AGI-3 벤치마크 테스트 시 활용되는 하네스(harness) 사용 기준을 명확히 정의했다. 벤치마크를 해결하기 위해 특별 제작되었거나 형식 및 콘텐츠 정보를 포함한 하네스는 허용되지 않는다. 반면 ARC-AGI-3 전용이 아닌, 모든 API 사용자에게 공개된 범용 API 설정은 사용이 가능하다. 과거 OpenAI 모델의 컴팩션 테스트 방식에 대한 논의가 있었으며, Chollet은 서로 다른 모델 제공자가 다른 설정을 사용하더라도 비용과 설정값을 명확히 공개한다면 형평성 문제는 없다는 입장이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @fchollet: Quick reminder of what's ok vs not ok with harnesses used for playing ARC-AGI-3: 1. Not okay: harnesses that were custom-made to s
원문 보기 ↗