참고X
DeepSeek-V4.1-Flash 기술 분석: 45T 토큰 학습 및 새로운 아키텍처
45T 토큰 학습, 인코더/디코더 하이브리드 구조, 새로운 스파스 어텐션 등 최신 아키텍처 특징 요약.
요약
Deepseek V4.1 Flash 모델은 총 552B 파라미터 규모에 8/16B 활성 파라미터를 사용하는 새로운 아키텍처로 공개되었다. 해당 모델은 45T 토큰으로 학습되었으며, 인코더/디코더 구조 내 입출력 토큰에 따라 활성 파라미터가 다르게 적용되는 독특한 방식을 취한다. Engram, 새로운 희소 어텐션(sparse attention), 새로운 mHC 등의 신기술을 탑재하여 매우 높은 효율성을 달성했다. 벤치마크 테스트 결과 네이티브 비전 성능 면에서 K3 모델을 능가하는 우수한 기록을 보여주었다. 업계에서는 최근 등장한 모델 중 가장 혁신적인 아키텍처라는 평가와 함께 상세한 기술 보고서에 대한 주목도가 높다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @eliebakouch: Deepseek V4.1 Flash 552B total, 8/16B active with a new arch trained on 45T tokens, there are different active parameters for inpu
원문 보기 ↗