최신 중국계 Frontier 모델들의 효율성 비결: 선형/희소 어텐션 및 Muon 기법 분석

요약

최근 중국의 최첨단 AI 모델들이 효율성을 극대화하기 위해 아키텍처를 공격적으로 최적화하고 있다. DeepSeek을 제외한 대부분의 중국 최첨단 모델은 연산 효율을 높이기 위해 선형 어텐션(linear attention)을 채택하고 있다. 또한 Kimi를 제외한 모든 모델이 인덱서 및 압축 설계를 유사하게 적용한 희소 어텐션(sparse attention) 방식을 사용 중이다. 이들 모델은 신호 전파를 극대화하기 위해 mHC, 어텐션 레지듀얼, 게이트 레지듀얼 등 정교한 레지듀얼(fancy residuals) 구조를 도입했다. 더불어 학습 최적화 도구인 Muon을 공통적으로 활용하며, 오픈 리서치 생태계 내에서 효율적인 오픈소스 모델 개발이 가속화되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.