MoE Looped Transformers의 효율적 스케일링 기법 'SMELT' 연구 발표

요약

Looped Transformers는 계층 블록을 반복하여 모델의 실질적인 깊이를 늘리는 방식이지만, 기존 연구들은 FLOPs가 늘어나는 문제를 간과했습니다. 본 연구는 Mixture-of-Experts(MoE) 구조에서 토큰당 FLOPs, 비임베딩 파라미터, KV 캐시를 엄격히 맞춘 SMELT(Sparse MoE Transformer, middle layers Loop Twice)를 제안합니다. SMELT는 중간 계층을 두 번 반복하여 연산 효율을 최적화한 결과, 학습 FLOPs를 6.8~18.0% 절감하면서도 손실값이 더 빠르게 감소하는 성능을 보였습니다. 이러한 효율성은 코드 생성, 긴 문맥 처리, 인컨텍스트 학습 등 하위 벤치마크에서 특히 두드러진 이점을 보입니다. 기계론적 분석에 따르면, 두 번째 반복 과정에서 어텐션 싱크(attention sink) 현상이 줄어들고 관련 토큰에 주의를 집중시키는 유도 편향이 형성되어 성능 향상을 견인합니다. 이번 연구는 예산 제약 상황에서도 계층 반복 기술이 트랜스포머 모델의 성능을 실질적으로 개선할 수 있음을 입증했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.