참고X
METR Time Horizons 2.0 데이터 공개: Astra 및 Opus 5.5(오푸스 5.5) 성능 분석
주요 모델의 성능 및 확장 속도에 대한 구체적인 벤치마크 수치 확인 가능.
요약
METR이 최신 벤치마크인 TIME HORIZONS 2.0을 공개하며 AI 모델의 성능 발전 속도를 측정했다. 이번 조사에서 AI 모델의 성능이 두 배로 향상되는 데 걸리는 doubling time은 3.6개월로, 이는 OpenAI GPT-6의 예상치인 3.8개월과 유사한 수준이다. 세부 모델별로는 Astra가 40.3시간, Opus 5.5가 39.0시간을 기록했다. 특히 Opus 5.5의 경우 95% 신뢰 구간이 11.9시간에서 110.2일까지로 매우 넓게 나타나 성능 편차에 대한 불확실성을 보여주었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @scaling01: THEY ARE BACK! METR TIME HORIZONS 2.0 Doubling time of 3.6 months, similar to the 3.8 months estimate by OpenAI GPT-6 Astra: 40.3
원문 보기 ↗