독일 AI 컨소시엄, 오픈소스 모델 'Soofi S' 공개… 고효율 MoE 적용

요약

독일 AI 컨소시엄이 300억(30B) 파라미터 규모의 오픈 모델 'Soofi S'를 공개했다. Soofi S는 약 27조 개의 토큰으로 학습되어, 32억 개의 활성 파라미터당 토큰 비율이 수천 대 일에 달하는 과도한 학습(overtraining)을 거쳤다는 비판을 받았다. 이에 대해 기술 리더인 Michael Fromm은 MoE(Mixture-of-Experts) 아키텍처는 기존 밀집 모델의 스케일링 법칙이 적용되지 않으며, 데이터 반복이 학습에 오히려 긍정적일 수 있다고 반박했다. 이번 모델은 독일 뮌헨에 위치한 도이치텔레콤의 Industrial AI Cloud에서 완전히 학습된 최초의 모델 중 하나다. 독일 AI 협회(KI Bundesverband)가 주도한 이 프로젝트는 독일어 학습 비중을 높인 하이브리드 아키텍처를 채택했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.