에단 몰릭: '강력한 에이전트와 하네스 결합으로 기존 벤치마크 시대 저물 것'

요약

AI 연구자 Ethan Mollick은 고도화된 모델과 이를 제어하는 하네스(harnesses)의 결합으로 인해 기존의 난해한 AI 벤치마크들이 무용지물이 되고 있다고 주장했다. 특히 모델이 장시간 복잡한 작업을 수행할 수 있게 되면서 METR Long Tasks와 같은 장기 과제 평가 기준이 한계에 도달했다. 또한, 정확한 수학적 계산을 포함한 전문적인 문서 작성 능력이 향상되어 GDPval 등의 평가 지표도 더 이상 유효하지 않게 되었다. 이와 함께 새로운 복잡한 퍼즐을 해결하는 능력이 발전함에 따라 ARC-AGI-3와 같은 기존 벤치마크 또한 돌파된 것으로 평가된다. 이는 AI의 성능 평가 방식이 근본적으로 변화해야 함을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.