완전 오픈소스 영상 MLLM 'VideoChat3' 공개: 효율성과 일반화 성능 강화

요약

기존 오픈소스 비디오 MLLM의 제한적인 일반화 성능과 높은 컴퓨팅 비용 문제를 해결하기 위해 완전 공개형 모델인 VideoChat3가 공개되었다. VideoChat3는 효율성을 높이기 위해 I3D-ViT(Inflated 3D Vision Transformer)와 스트리밍 비디오 인식을 위한 적응형 프레임 해상도 기술을 도입해 학습 및 추론 비용을 절감했다. 또한, VideoChat3-Academic2M, VideoChat3-LV116K, VideoChat3-OL617K 등 3가지 고품질 데이터셋으로 구성된 확장 가능한 비디오 데이터 합성 파이프라인을 구축해 일반, 장편, 스트리밍 영상 전반에서 일반화 성능을 강화했다. 이를 통해 4B 파라미터 규모만으로도 기존의 동급 또는 더 큰 규모의 오픈소스 모델들을 능가하는 성능을 입증했다. 연구진은 모델뿐만 아니라 학습 코드와 데이터셋을 모두 공개하여 투명성과 커뮤니티 발전을 도모한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.