참고HF Papers
[논문] 에이전트 기반 비디오 생성의 일관성 향상: ATAS
비디오 생성 시 장면 간 시공간적 일관성을 유지하는 메모리 구조를 제시하여 모델 성능을 개선함.
요약
Any Time, Any Space(ATAS)는 긴 형태의 에이전트 기반 비디오 생성 시 발생하는 공간적·시간적 일관성 문제를 해결하기 위해 개발된 프레임워크입니다. 이 기술은 시나리오를 위치, 카메라, 이벤트 시간 참조가 포함된 샷 요청으로 컴파일하며, 생성 전후에 장면 메모리와 이벤트 메모리를 통해 정적 기하학적 정보와 동적 관측 데이터를 관리합니다. ATAS는 생성된 클립을 검토 및 상태 확인 후 메모리에 등록하는 방식을 통해 일관성을 유지하며, 비디오 전달 과정은 메모리 승인과 독립적으로 작동합니다. 기존 4개의 비디오 생성 모델에 ATAS를 적용한 결과, 모든 교차 샷 일관성 지표와 벤치마크 점수가 향상되었습니다. 또한, 대상 이미지 공간 재방문 및 이벤트 재포착 평가에서 기존 에이전트 및 3D 가이드 방식보다 뛰어난 성능을 보였으며, 6개 인간 평가 항목에서 최고 점수를 기록했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation
원문 보기 ↗