멀티모달 사전학습의 물리학: 지식 흐름과 효율적 레시피 분석

요약

본 연구는 멀티모달 사전학습의 메커니즘을 체계적으로 탐구하여 지식 흐름, 모달리티 간 상호작용, 조기 통합의 중요성 등을 규명했다. 언어, 시각 이해, 시각 생성 간의 지식 전이 패턴을 분석하여 모달리티별 영향력과 비대칭성을 밝혔으며, 데이터 복잡성이 모달리티 간 시너지 혹은 경쟁을 결정하는 핵심 요소임을 확인했다. 모델의 구조적 측면에서는 공유 어텐션 및 정규화와 모달리티별 피드 포워드 층을 결합할 때 시너지가 극대화된다는 점을 발견했다. 특히, 학습 초기 단계부터 모달리티를 통합하는 것이 후기 정렬이나 순차적 학습보다 효과적이며, 통합이 늦어지면 모델이 언어 사전 지식에 과도하게 의존하는 '비전 게으름(vision laziness)' 현상이 발생한다. 연구진은 이러한 통찰을 바탕으로 기존 컴퓨팅 예산의 5%만으로도 강력한 생성 성능을 내는 효율적인 사전학습 레시피를 도출했으며, 이를 13.5B MoE 모델과 2T 토큰 규모로 검증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.