참고HF Papers
DreamX-Creator: 2K 해상도 네이티브 오디오-비디오 생성 모델 공개
별도 스테이지 없이 오디오와 비디오를 동시에 생성하는 7B 기반 모델로, 정합성 높은 멀티모달 생성 연구.
요약
DreamX-Creator 1.0은 오디오와 비디오를 별도로 생성하던 기존 방식의 한계를 극복하기 위해 개발된 7B 규모의 통합 오디오-비디오 생성 시스템입니다. 첫 프레임과 텍스트 프롬프트를 조건으로 삼아 Gated Cross-Modal Attention 구조를 통해 시각적 역동성과 청각적 요소를 동시에 모델링하고 동기화합니다. 이 모델은 단계별 사전 학습과 고품질 파인튜닝을 거치며, 특히 Modality-Aware Multimodal Feedback을 활용한 오디오-비디오 강화 학습을 통해 성능을 고도화했습니다. 또한 1단계 추론만으로 2K 해상도 출력을 가능하게 하는 Autoregressive 1-Step 2K Refinement 파이프라인을 도입했습니다. 오픈 소스로 공개되는 7B 생성기와 2K Refiner는 통합 오디오-비디오 생성 모델 연구의 접근성을 높이는 기반이 될 것으로 기대됩니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution
원문 보기 ↗