멀티모달 비디오 이해력 평가를 위한 신규 벤치마크 'OmniCompass' 공개

요약

옴니모달 대규모 언어 모델(MLLM)의 비디오 이해 능력을 종합적으로 평가하기 위해 새로운 벤치마크 'OmniCompass'가 공개됐다. 이 벤치마크는 시각적 증거 기반의 'OmniCompass-VL'과 오디오-비주얼 증거 기반의 'OmniCompass-AV' 두 가지 평가 트랙으로 구성된다. 각 트랙은 시간적 접지(TG), 공간적 접지(SG), 질의응답(QA) 세 가지 보완적 작업을 포함하며, 데이터셋은 OmniCompass-VL 820개 영상, OmniCompass-AV 240개 영상으로 구성되었다. 평가 방식은 텍스트 전용과 텍스트+이미지 결합 등 두 가지 설정을 사용하여 정밀하게 수행된다. 50개 MLLM을 평가한 결과, 오픈소스 모델은 독점 모델에 비해 오디오-비주얼 이해 능력이 뒤처지며, 시간 및 공간적 접지 작업에서 여전히 어려움을 겪는 것으로 나타났다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.