마이크로소프트 3T 사전학습 아키텍처 분석: 딥시크 및 MAI와 비교

요약

Microsoft가 공개한 새로운 3T 사전 학습 모델은 Kimi K3보다 희소한 구조를 가지며, 80B 활성 파라미터(Kimi K3는 104B)로 설계되었습니다. 이번 모델은 슬라이딩 윈도우 하이브리드 패턴을 유지하면서 슬라이딩 윈도우 레이어에 KV 헤드를 추가하고, 공유 전문가(Shared expert) 도입 및 인터리브 MoE/Dense 패턴 제거 등의 구조적 변화를 적용했습니다. 특히 데이터 분포 처리 시 최종 말뭉치와 동일한 반복률을 유지하는 개선점을 도입했으며, 학습 시 Muon 옵티마이저와 활성화 그래디언트 클리핑을 사용하여 효율성을 높였습니다. 학습 데이터는 약 40T 텍스트(20T 유니크)와 10T 멀티모달(4.5T 유니크) 규모로 확장되었으며, 학습률과 드롭아웃 등 하이퍼파라미터에 대한 구체적인 스케일링 법칙을 제시했습니다. 이번 기술 보고서는 MAI-1에서 보여준 스케일링 사다리 구조를 계승하면서도, 모델 학습의 안정성과 효율성을 대폭 개선한 점이 특징입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.