참고HF Papers
비디오 생성 AI 가속 기법 'Speculative Forcing' 논문 공개
확산 모델의 디노이징 단계를 줄여 영상 생성 속도를 최대 1.5배 이상 개선하는 기술. 실시간 영상 생성 파이프라인 최적화에 참고.
요약
Speculative Forcing은 소수의 단계로 이루어진 자기회귀(Autoregressive) 비디오 생성 모델의 효율성을 높이기 위해 제안된 새로운 프레임워크입니다. 이 기술은 모든 토큰을 마지막 디노이징 단계까지 수행하는 대신, 중간 단계에서 충분히 정제된 토큰을 조기에 확정하여 불필요한 계산을 줄이는 방식을 취합니다. 검증기(Verifier)는 학습이 필요 없는 방식과 중간 특징을 학습하여 남은 정제 정도를 추정하는 학습 기반 방식 두 가지로 구현됩니다. LongLive 모델 테스트 결과, 기존 대비 약 1.7단계의 디노이징만으로 동일 품질을 유지하며 1.5배 이상 빠른 41.7/37.8 fps의 속도를 달성했습니다. Lingbot-World 2.0에서도 약 2.5단계의 디노이징으로 1.35배 빠른 24.5 fps를 기록하며 생성 효율성을 입증했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Speculative Forcing for Efficient Autoregressive Video Generation
원문 보기 ↗