영상 초해상도 효율화 모델 'FlashVSR+' 공개

요약

FlashVSR+는 비디오 슈퍼 해상도(VSR) 모델의 연산 비용과 인간 선호도 정렬 문제를 해결하기 위해 하이브리드 어텐션 아키텍처와 새로운 학습 전략을 도입했다. 하이브리드 어텐션 구조는 국소적 특징을 유지하면서 희소한 전역 상호작용을 결합해 기존 DiT 대비 최대 2배 빠른 속도와 45% 낮은 피크 메모리 사용량을 달성했다. 이 효율성을 바탕으로 24GB VRAM을 갖춘 RTX 4090 단일 GPU에서 4K 해상도의 영상 슈퍼 해상도 작업을 타일링 없이 수행할 수 있다. 학습 측면에서는 보상 모델의 역전파 없이 블랙박스 보상을 분포 매칭에 통합하는 Reward-Yield Distribution Matching Distillation(Ry-DMD)을 제안했다. Ry-DMD는 VSR뿐만 아니라 텍스트-이미지(T2I) 생성 분야에도 적용 가능하며, 사용자 선호도와 화질 측면에서 개선된 성능을 보여준다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.