← promppy_ 실시간 AI 뉴스
참고MIT Tech Review

METR, AI 모델 성능 지표 업데이트…판단력 분야 정체 시사

코딩 등 검증 가능한 작업에 비해 판단력이 요구되는 작업의 발전 속도는 더딤. AI 역량 평가 모델의 한계점 확인.

요약

AI 평가 비영리 단체 METR이 최신 보고서를 통해 AI 모델의 성능이 지수적 궤적을 그리며 지속적으로 향상되고 있음을 확인했다. 업데이트된 '타임 호라이즌 플롯'에 따르면, 프런티어 모델이 성공적으로 수행할 수 있는 작업의 길이는 4개월마다 2배씩 증가하는 추세를 보였다. 하지만 연구 결과, AI 모델은 코딩과 같은 작업에는 능숙한 반면 판단력이 필요한 과제에서는 상대적으로 낮은 수행 능력을 나타냈다. 이번 업데이트에는 인간이 완료하는 데 더 긴 시간이 소요되거나 보다 개방적인 성격의 작업들이 추가되었다. 현재 AI 업계의 핵심 과제는 성공 여부를 자동 확인 가능한 '검증 가능 작업'에서의 발전이 평가가 어려운 작업으로 얼마나 확장될 수 있는지 파악하는 것이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 The most misunderstood graph in AI just got a major update

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독