[R] HOMIE: 인간-객체 상호작용 제어 강화한 비디오 개인화 프레임워크

요약

주제 중심 비디오 생성 분야의 핵심 과제인 HOCVP(Human-object Centric Video Personalization)를 개선하기 위해 새로운 프레임워크 HOMIE가 제안되었다. 기존 모델들은 인간과 객체 간의 상호작용 패턴을 정확히 구현하는 데 한계가 있었으며, 내부 참조 데이터를 활용하는 메커니즘도 부족했다. HOMIE는 MLLM(멀티모달 대형언어모델) 통합 전략을 고도화하여 텍스트 인코더의 제어력을 유지하면서도 참조 관계를 효과적으로 추출한다. 특히 글로벌 멀티모달 가이던스를 통해 MLLM 기반 의미론적 특징과 VAE 토큰을 정렬하고, 모달리티 참조 임베딩을 도입하여 토큰 간 관계를 명확히 구분했다. 이러한 접근 방식을 통해 HOMIE는 다양한 HOCVP 작업에서 최첨단 성능(SOTA)을 달성했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.