MoE 모델의 성능 최적화: 7가지 라우팅 전략 정리

요약

MoE(Mixture of Experts) 모델은 특정 전문가에게 토큰이 몰리는 과부하 문제와 이로 인한 GPU 간 불균형, 통신 오버헤드 문제가 발생할 수 있어 효율적인 라우팅 전략이 필수적이다. 대표적인 7가지 전략 중 'Token-choice routing'은 토큰이 상위 k개 전문가를 선택하되 로드 밸런싱을 보완하며, 'Expert-choice routing'은 전문가가 고정된 용량 내에서 최상위 토큰을 선택하여 작업 균형을 맞춘다. 'Dynamic routing'은 토큰별로 선택 전문가 수를 유동적으로 조절하며, 'Balanced assignment'는 전역 매칭을 통해 전문가 부하를 제한하고, 'Hash-based routing'은 학습된 게이트 없이 결정론적 해시로 토큰을 할당한다. 또한 'Soft MoE routing'은 가중치 혼합을 통해 정보를 처리하고, 'Group-limited routing'은 하드웨어 배치에 따라 전문가 그룹을 제한하여 통신 비용을 줄인다. 실무자는 단순히 토큰을 균등 분배하는 것만으로는 저지연을 보장할 수 없으므로, 이러한 라우팅 전략과 더불어 전문가 병렬 처리, Grouped GEMM, 토폴로지 인지 배치 등 최적화 기법을 고려해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.