비디오 생성 모델을 활용한 범용 비전 모델 'GenCeption' 공개

요약

최근 연구에 따르면 대규모 텍스트-비디오 생성 학습이 컴퓨터 비전 분야의 범용 모델을 위한 강력한 사전 학습 패러다임이 될 수 있음이 확인되었습니다. 이 연구는 사전 학습된 비디오 생성 디퓨전 백본을 활용하여 다양한 시각 작업을 수행하는 피드-포워드 인식 모델인 'GenCeption'을 제안합니다. GenCeption은 깊이, 표면 법선, 카메라 포즈 추정, 세분화, 3D 키포인트 예측 등 여러 작업에서 DepthAnything3, SAM3, Sapiens 등 기존 특화 모델들과 대등하거나 뛰어난 성능을 보였습니다. 또한, 이 모델은 기존 V-JEPA나 Video MAE 방식보다 우수한 성능을 나타내며, 데이터 효율성 측면에서도 D4RT 및 VGGT-Omega 모델 대비 7배에서 500배 적은 학습 데이터로 유사한 결과를 달성했습니다. 이번 결과는 비디오 생성 사전 학습이 범용 시각 지능을 달성하는 데 필요한 시공간적 사전 정보와 비전-언어 정렬을 효과적으로 제공할 수 있음을 입증합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.