Kimi K3의 핵심 아키텍처 '어텐션 레지듀얼(Attention Residuals)' 상세 분석

요약

문라이즈 AI(Moonshot AI)의 최신 모델 Kimi K3는 2015년 ResNet 이후 고착화되었던 트랜스포머의 잔차 연결(Residual connections) 방식을 개선한 'Attention Residuals' 기술을 적용했다. 기존 방식은 모든 레이어에 고정된 가중치 1을 부여하여 깊은 모델일수록 학습이 불안정했으나, Attention Residuals는 레이어 간 소프트맥스 어텐션을 통해 입력 데이터에 따라 필요한 이전 레이어의 정보를 선별적으로 활용한다. 실제로 48B Kimi Linear 모델 검증 결과, 기존 대비 1.25배 적은 연산량으로 동등한 성능을 보였으며 추론 지연 시간은 2% 미만으로 증가했다. K3는 이 기술을 2.8T 파라미터 규모에 적용한 최초의 모델로, Kimi Delta Attention과 결합해 100만 토큰 문맥 처리 시 디코딩 속도를 최대 6.3배 향상시켰다. 현재 API가 공개되었으며, 해당 모델의 가중치는 7월 27일 공개될 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.