참고X
AI 에이전트의 1인칭 영상 이해력 검증, 'EgoHome' 벤치마크 공개
일상 가사 작업을 포함한 2시간 분량의 영상 데이터셋으로, AI 에이전트의 시각적 행동 이해 및 태스크 수행 정확도를 테스트할 수 있음.
요약
Perceptron은 AI 모델의 1인칭 비디오 이해 능력을 정밀하게 평가할 수 있는 데이터셋 'EgoHome'을 공개했다. 이번 데이터셋은 약 2시간 분량의 가사 노동 영상을 바탕으로 41만 7,912개의 핸드 박스(30fps 기준), 1,924개의 하위 작업 세그먼트, 5,032개의 손 동작 세그먼트 등을 포함한다. 특히 전체 데이터 중 3,371개 세그먼트가 1초 미만, 773개가 0.5초 미만으로 구성되어 있어 초정밀 동작 인식 평가가 가능하다. 하위 작업 평가에서 Perceptron 모델은 8fps 기준 0.798, GPT-4o Astra는 4fps 기준 0.797의 점수를 기록했다. 또한 활동을 다양한 단계로 나누는 기준인 PSJ(Partially Segmented Jobs) 개념을 도입해 작업 세분화의 유연성을 확보했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: YOUR KITCHEN CHORES ARE A SURPRISINGLY TOUGH AI TEST. Hold. Scrub. Turn. Regrip. Now timestamp every move. @Perceptroninc just dro
원문 보기 ↗