참고팁Reddit
영상을 1MB 텍스트로 압축 후 Wan 2.2로 재생성하는 파이프라인 공개
영상 압축 및 재구성 기술을 활용한 실험적 파이프라인. 프롬프트 엔지니어링과 모델 체이닝 관점에서 참고할 만한 기법.
요약
최근 레딧(Reddit)에서 영화를 1MB 미만의 텍스트로 압축한 뒤 Wan 2.2 모델을 활용해 영상을 재생성하는 새로운 AI 파이프라인이 공개되었다. 먼저 PySceneDetect로 영화를 약 2,000개의 숏으로 나눈 뒤 Gemini Flash-Lite가 각 숏을 약 100단어로 요약하고, 이를 xz 포맷으로 320KB까지 압축한다. 압축된 텍스트는 RunPod A6000(비용 약 0.33달러/시간) 환경에서 구동되는 Wan 2.2 TI2V-5B 모델을 통해 영상으로 재변환된다. 오디오는 MMAudio(효과음)와 MusicGen(배경음악)을 사용하고, 자막 대사는 ElevenLabs TTS로 합성하여 원본 타임스탬프에 맞춘다. 각 숏이 독립적으로 생성되는 한계를 극복하기 위해 캐릭터 설명을 클러스터링해 프롬프트에 주입하는 방식을 사용했으며, 5초 이상의 숏은 마지막 프레임을 첫 프레임으로 연결하는 기법을 적용했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I compressed films to <1MB of text and regenerated them with Wan 2.2
원문 보기 ↗