Perceptron, 로봇 학습용 에고센트릭 데이터셋 'EgoHome' 공개…GPT-6(지피티 6) Astra와 성능 비교
로봇 손동작 정밀 측정 벤치마크. 에이전트/로봇 연구팀이라면 공개된 데이터셋과 평가 도구 검토 권장.
요약
Perceptron은 로봇 학습에 필요한 정밀한 동작 데이터를 제공하기 위해 가사 활동을 담은 오픈소스 데이터셋 'EgoHome'을 공개했다. EgoHome은 2시간 분량(137개 클립)의 1인칭 시점 영상을 바탕으로 30fps 기준 양손 박스 41만 7,912개, 손 동작 5,032개, 손별 캡션 5,277개를 포함하며 0.5초 미만의 세밀한 구간도 773개나 담고 있다. Perceptron Egocentric API의 성능은 서브태스크 0.798, 손 박스 0.973으로, 시간당 약 15달러의 비용으로 GPT-6 Astra(약 76달러)와 대등한 수준을 기록했다. 다만, 세분화된 손 동작 인식에서는 GPT-6 Astra만이 단순 기준 모델을 상회하는 성과를 보였다. Perceptron은 연구 및 상업용 팀이 벤치마킹에 활용할 수 있도록 Hugging Face에 데이터셋을, GitHub에 평가 코드와 프롬프트를 공개했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ai_for_success: today's frontier vision models are pretty good at telling you someone is washing dishes in a video, yet robot training needs to kn
원문 보기 ↗