참고X
실시간 비디오 AI 성능 평가 벤치마크 'StreamEval' 공개
38개 모델을 대상으로 대화, 장면 생성, 영상 편집 등 5개 과제를 평가. 비디오 생성 모델 개발 시 참고할 표준 지표로 활용 가능.
요약
StreamEval은 실시간 비디오 AI 모델의 성능을 평가하기 위해 설계된 새로운 벤치마크로, 총 38개 모델의 테스트 결과를 제공한다. 이 벤치마크는 15초에서 5분 길이의 세션으로 구성된 300개의 스크립트 기반 테스트 케이스를 포함하며, 아바타, 월드 생성, 비디오 편집 등 3가지 카테고리와 10가지 지표를 통해 모델의 요청 수행 능력과 일관성을 평가한다. 특히 비디오 편집 시 이전 편집 내용을 유지하면서 새로운 지침을 따르는지 확인하는 등 복합적인 과제를 검증한다. 칭화대, NVIDIA, CMU 등 주요 연구 기관이 협력하여 개발했으며, 코드와 데이터셋, 평가 프로토콜은 오픈소스로 공개되어 있다. 실시간 비디오 모델을 개발 중인 연구자들은 API 엔드포인트를 제출하여 향후 평가에 참여할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @kimmonismus: StreamEval is worth a look if you’re following real-time video AI. The paper reports results from 38 models. The benchmark contain
원문 보기 ↗