음악 생성 모델 'YuE2'용 인코더 공개: 개인 음원 활용 가능

요약

오픈 소스 음악 모델 YuE2의 누락된 인코더가 사용자에 의해 개발되어 기존 음악을 활용한 파인튜닝이 가능해졌다. YuE2는 스타일 프롬프트와 가사를 입력하면 음악을 생성하는 모델이지만, 기존 녹음본을 모델이 이해하는 '시맨틱 토큰'으로 변환할 수 있는 인코더가 공개되지 않아 사용자 음원 활용에 한계가 있었다. 개발자는 YuE2가 생성한 수천 개의 곡과 그에 대응하는 토큰 쌍을 학습 데이터로 활용해 별도의 인코더를 직접 훈련했다. 이를 통해 사용자는 이제 자신의 음악을 YuE2에 입력하거나 학습시키는 과정이 가능해졌다. 해당 개발자가 공개한 스크립트와 토크나이저 가중치를 통해 관련 기능을 즉시 사용할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.