오픈 데이터셋 기반의 멀티모달 모델 'Apertus-v1.5' 공개

요약

swiss-ai가 다국어 및 멀티모달 처리를 강화한 Apertus v1.5의 8B 및 70B 파라미터 모델을 공개했다. 이번 모델은 최대 262,144 토큰의 컨텍스트를 지원하며, 완전히 공개된 학습 데이터만을 사용하여 투명성을 확보한 것이 특징이다. 8B 모델에는 4T 토큰, 70B 모델에는 2T 토큰의 멀티모달 데이터가 추가로 학습되었다. 기존 Apertus 1.0의 아키텍처를 계승하여 디코더 전용 트랜스포머 구조를 채택했으며, xIELU 활성화 함수와 AdEMAMix 옵티마이저를 활용했다. 동급 모델 대비 경쟁력 있는 성능을 제공하며 오픈 소스 생태계의 발전을 목표로 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.