[R] GenFirst: 잠재 생성 모델을 위한 end-to-end 학습 전략

요약

기존 잠재 생성 모델은 재구성(reconstruction)과 생성(generation)을 2단계로 나누어 학습하지만, 잠재 붕괴와 생성-재구성 충돌 문제로 인해 end-to-end 학습이 어려웠다. 연구진은 KL 발산의 엔트로피 항이 잠재 붕괴를 방지하고, 생성 학습이 재구성보다 느리다는 비대칭적 학습 역학을 발견했다. 이를 바탕으로 생성 목적 함수를 먼저 학습한 뒤 재구성 압력을 점진적으로 높이는 새로운 전략인 GenFirst를 제안했다. 해당 기법을 적용한 SiT 모델은 ImageNet-256 데이터셋에서 gFID 0.97(CFG 적용 시)을 기록했으며, MMDiT는 텍스트-이미지 생성 평가에서 0.90의 GenEval 점수를 달성했다. 이번 연구는 GenFirst 전략이 이미지 생성뿐만 아니라 표현 학습 및 연속적인 텍스트-이미지 생성 등 다양한 모달리티와 생성 프라이어 전반에서 안정적인 end-to-end 학습을 가능하게 함을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.