Looped Diffusion Transformer 공개: 블록 재사용으로 추론 효율 극대화

요약

최근 공개된 'Looped Diffusion Transformer'(arXiv 2609.40305, 9월 30일)는 디퓨전 모델의 효율성을 극대화하기 위해 디노이징 단계 내에서 동일한 트랜스포머 블록을 여러 번 반복 실행하는 방식을 도입했다. 연구진은 단순 반복 시 발생하는 문제를 해결하기 위해 모든 루프에 '딥 슈퍼비전'을 적용하고 '셀프 모듈레이팅 어텐션' 기법을 결합했다. 실험 결과, 260M 파라미터 규모의 이 모델은 기존보다 6.5배 큰 모델을 주요 벤치마크에서 능가하면서도 추론 연산량은 4.9배 줄이는 성능을 보였다. 특히 동일한 추론 예산 내에서는 디노이징 스텝 수를 늘리는 것보다 루프 깊이(loop depth)를 조정하는 것이 이미지 품질 향상에 더 효과적임이 확인되었다. B/16 코드와 가중치는 MIT 라이선스로 Hugging Face(sensenova)에 공개되어 있어 실무 환경에서 즉시 테스트가 가능하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.