참고Reddit
Remote Labor Index, Fable 및 Astra 모델 벤치마크 업데이트
실제 인간 노동자가 수행한 복잡한 프로젝트 대비 AI 모델의 수행 능력을 평가하는 벤치마크. 최신 모델 성능을 확인하는 데 유용함.
요약
Remote Labor Index(RLI)는 게임 개발, 제품 디자인, 데이터 분석 등 원격 노동 경제 전반의 프로젝트를 포괄하는 벤치마크 지표다. 이 지표는 1만 달러 이상의 비용과 100시간 이상의 작업 시간이 소요되는 난이도 높은 실무 프로젝트들을 포함하고 있다. 현재 RLI에 등록된 프로젝트들은 총 6,000시간 이상의 실제 노동과 14만 달러 이상의 가치를 지닌다. 모든 데이터는 프로젝트를 완료한 인간 전문가들의 실제 비용과 작업 시간을 기반으로 측정되었다. AI 모델의 성능은 단일 프롬프트로 프로젝트 전체를 완수했을 때 인간 전문가가 직접 평가하는 방식으로 검증된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Remote Labor Index updated with Fable and Astra
원문 보기 ↗