참고X
GPT-6 Astra, ECI 169점 기록… 약 30시간 작업 수행 능력 시사
모델의 실질적인 에이전트 작업 수행 역량에 대한 정량적 분석 자료로 참고할 만함.
요약
METR는 아직 구글의 최신 AI 모델인 Astra를 공식 평가하지 않았으나, 해당 모델의 ECI 점수는 169점으로 추정된다. 이 ECI 점수는 Astra가 약 30시간의 작업 범위를 처리할 수 있음을 시사한다. 이는 인간 전문가가 30시간 동안 수행하는 작업에 대해 약 50%의 성공률을 보일 수 있다는 의미이다. METR의 평가 방식에 기반한 이번 분석은 Astra의 실질적인 AI 에이전트 역량을 가늠할 수 있는 지표로 활용될 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @haider1: METR hasn’t evaluated Astra yet but its 169 ECI score implies roughly a 30-hour task horizon -- about a 50% success rate on tasks
원문 보기 ↗