텍스트 변환 없는 '시각적 사전학습(Visual Pretraining)'이 더 효율적

요약

최근 대규모 언어 모델 학습은 텍스트 데이터 위주로 진행되어 왔으나, 문서의 도표나 수식 등 시각적 정보가 가진 풍부한 지식을 충분히 활용하지 못한다는 한계가 있다. 본 연구는 이러한 시각적 단서를 배제하고 텍스트로만 변환하여 학습하는 기존 방식을 탈피하여, 시각적 문서 자체를 직접 학습하는 'Visual Pretraining'의 유효성을 검증했다. 연구 결과, 동일한 데이터셋에서 텍스트 기반 학습보다 시각적 프리트레이닝을 적용했을 때 다수의 백본(backbone)과 벤치마크에서 일관되게 더 우수한 성능을 보였다. 이는 언어 모델이 텍스트 데이터에만 의존하지 않고 시각적 정보를 활용함으로써 더욱 확장 가능한 지능을 학습할 수 있음을 시사한다. 이번 연구는 파운데이션 모델의 효율적인 학습을 위한 새로운 대안으로서 시각적 학습 패러다임의 가능성을 제시했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.