완전 오픈 모델 'Apertus 1.5' 공개: 멀티모달 통합·최대 19T 토큰 추가 학습

요약

Apertus 1.5는 기존 Apertus 1세대 모델을 기반으로 추가 사전 학습을 진행해 8B 모델은 총 19T 토큰, 70B 모델은 총 17T 토큰으로 학습량을 대폭 늘렸다. 이번 버전의 핵심인 멀티모달 기능은 별도의 비전 인코더 없이 이미지와 오디오를 텍스트와 동일한 시퀀스의 이산 토큰으로 처리하는 얼리 퓨전(early-fusion) 방식을 도입했다. 이미지는 Emu3.5 토크나이저로, 오디오는 WavTokenizer로 처리하며 아키텍처 변경 없이 텍스트 전용 학습과 동일한 속도를 유지한다. 데이터셋은 FineWeb2-HQ+, FinePDFs, Nemotron-CC 등을 포함해 신뢰성을 확보했으며, 오픈 웨이트·오픈 데이터·오픈 밸류 정책을 고수하여 학습 상세 내용을 모두 공개했다. 학습 과정은 프리트레이닝 4단계와 SFT, 장문맥 SFT, RL, DPO, charter alignment(SDPO)로 구성된 포스트 트레이닝 5단계로 진행되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.