MiniMax H3 멀티모달 활용: 12개 파일 참조 및 SGLang 구동 팁

요약

중국 AI 연구소 MiniMax가 자사의 새로운 비디오 모델 H3의 오픈소스 가중치를 공개했다. H3는 비디오와 오디오 레이턴트를 하나의 33B 트랜스포머 모델에서 50개의 공유 레이어를 통해 동시에 노이즈 제거(denoising)하는 방식으로, 별도의 후처리 없이 완벽한 립싱크와 효과음을 생성한다. 사용자 본인의 사진, 비디오, 오디오 클립 등 최대 12개의 파일을 입력하면 이를 프롬프트 태그를 통해 참조하여 4~15초 분량의 영상을 제작할 수 있다. 생성된 영상은 24fps, 768p 또는 2K 해상도를 지원하며 11개 언어의 스테레오 오디오를 포함한다. 특히 기존에 LoRA 학습, 음성 복제, 편집 등 여러 단계가 필요했던 작업을 하나의 프롬프트로 처리할 수 있게 되어 실무적인 활용도가 높을 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.