참고Hacker News
생성형 AI 효율 극대화하는 신규 학습 패러다임 'Explorative Modeling' 발표
이미지·비디오 생성 모델의 표본 효율성을 최대 6배 높이는 신규 학습 기법. 차세대 모델 구조 연구 시 참조.
요약
Explorative Modeling(XM)은 기존 생성형 모델의 사전 학습에 새로운 축을 추가하여 성능을 개선하는 생성형 모델링 패러다임입니다. 이 방식은 모델이 여러 후보 중 최선의 답을 탐색하도록 하여 이미지, 비디오, 언어 모델 전반에서 성능 향상을 확인했습니다. 실제로 데이터 규모에 따라 성능 향상 폭이 7%에서 36%까지 증가했으며, 샘플 효율성 6.2배, FLOP 효율성 4.1배, 파라미터 효율성 47% 개선을 달성했습니다. 특히 엔드투엔드 생성 모델로서 확산 모델(diffusion)과 대등한 제어 성능을 보이면서도 추론 연산량을 최대 256배 절감했습니다. XM은 기존 모델이 다수의 정답을 평균화하여 발생하는 '흐릿한 결과물' 문제를 해결하고, 탐색 과정을 통해 더 정확하고 효율적인 생성을 가능하게 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Explorative modeling: Train on the best of K guesses
원문 보기 ↗