오픈소스 VLM 'MiniCPM-V 4.7' 공개: 35B 모델을 3B 수준으로 경량화

요약

OpenBMB가 35B 총 파라미터, 추론 시 활성 파라미터 약 3B 규모의 초경량 멀티모달 모델 MiniCPM-V 4.7을 출시했다. 이 모델은 LES 기법을 통해 필요한 전문가 레이어를 미리 로드하고 DSpark Speculative Decoding으로 추론 속도를 높였으며, 시각 토큰 압축 기술로 이미지와 영상 토큰 오버헤드를 각각 4배, 16배 줄였다. 실제 테스트에서 35B-A3B 모델은 영상 내 시간적 변화를 파악해 타임스탬프가 포함된 정교한 내레이션을 생성하며 뛰어난 시공간 추론 능력을 입증했다. 함께 공개된 1.3B 모델은 OCR, 차트 해석, 수학 문제 풀이 등을 지원하며, 두 모델 모두 256K 컨텍스트를 지원한다. 가중치, 코드, 파인튜닝 파이프라인이 모두 오픈소스로 공개되어 소비자용 하드웨어에서도 로컬 구동이 가능하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.