Soofi S 30B-A3B 분석: NVIDIA Nemotron 3 Nano 아키텍처 기반 독일어 특화 모델

요약

최근 공개된 사전 학습 보고서에 따르면 Soofi S 30B-A3B 모델은 NVIDIA의 개방형 Nemotron 3 Nano 참조 아키텍처를 기반으로 설계되었습니다. 이 모델은 하이브리드 Mamba와 Transformer MoE 구조를 채택했으며, 약 3B개의 활성 파라미터를 사용하는 등 기존 아키텍처와 거의 동일한 설계를 공유합니다. 핵심 차별점은 학습 과정으로, 약 27조 개의 토큰을 학습시켰으며 독일어 데이터의 비중을 의도적으로 높였습니다. 전체 학습은 Deutsche Telekom의 Industrial AI Cloud 환경에서 엔드투엔드로 진행되었습니다. 개발팀은 모델의 학습 레시피와 하이퍼파라미터, 평가 방법론을 모두 공개하여 투명성을 확보했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.