비디오 이해·상호작용 최적화 모델 'VideoJev' 공개

요약

VideoJev는 사전 학습된 MLLM(Multimodal Large Language Model)의 자기회귀적 디코딩 방식을 비디오 이해 및 상호작용을 위한 구조화된 의사결정 작업으로 재설계한 새로운 모델 제품군이다. 이 모델은 비디오 증거를 바탕으로 시간적 구간과 텍스트 선택지를 점수화하는 공유 헤드를 도입하여, 시간적 근거 제시(temporal grounding)와 다지선다형 비디오 질의응답을 통합했다. 비디오 상호작용 과정에서 시각적 연산을 재사용할 수 있는 캐시 추론(Cached inference)과 다중 질의를 단일 패스로 처리하는 조인트 추론(Joint inference) 기법을 적용해 효율성을 높였다. 실험 결과, VideoJev-4B와 VideoJev-35B-A3B 모델은 시간적 근거 제시 벤치마크에서 기존 백본 대비 평균 mIoU를 각각 6.7점, 10.8점 향상시키고 추론 속도를 최대 3.1배 개선했다. 또한, 4개의 비디오 질의응답 벤치마크에서는 기존 모델과 동등한 성능을 유지하면서 추론 속도를 100배 이상 단축하는 성과를 보였다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.