참고Reddit
Stereo2Spatial: 스테레오 음악을 공간 음향으로 변환하는 확산 모델 공개
스테레오 음원을 공간 음향(Spatial Audio)으로 변환하는 오픈소스 확산 모델. 오디오 AI 연구에 활용 가능.
요약
Reddit의 한 개발자가 일반 스테레오 음악을 공간 음향(Spatial Audio)으로 변환하는 모델 'Stereo2Spatial'을 공개했다. 이 모델은 기존에 고품질 공간 믹스가 부족한 음악들을 바이노럴(Binaural) 믹스로 변환하기 위해 약 6개월간 개발되었다. 구조적으로는 VAE(EAR-VAE)의 잠재 공간에서 작동하는 '플로우 매칭 확산 모델(flow-matching diffusion model)'을 활용했다. 스테레오 입력을 단일 잠재 변수로 인코딩한 뒤, 이를 7.1.4채널 출력의 각 채널로 분리하는 방식을 채택했다. 이는 기존의 'ImmersiveFlow' 논문을 참고하여 자체적으로 코드베이스를 재구축한 사례로, 공간 음향 기술 연구에 실질적인 활용 가능성을 제시한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Stereo2Spatial: Convert Stereo Music Tracks to Spatialized Binaural Mixes [P]
원문 보기 ↗