Hugging Face(허깅페이스), MoE 모델 경량화를 위한 'HOPE' 가지치기 기법 공개

요약

Mixture-of-Experts(MoE) 모델은 수천억 개의 파라미터로 확장 가능하지만, 추론 시 사용되지 않는 전문가 MLP들이 전체 메모리의 대부분을 점유한다는 치명적인 단점이 존재한다. 예컨대 Qwen3.5-122B 모델의 경우 전체 파라미터 메모리의 95%가 전문가 MLP로 구성되나, 실제 토큰 처리에는 각 레이어당 8개의 전문가만 사용된다. 이러한 메모리 병목 현상을 해결하기 위해 가장 유효한 방법은 중요도가 낮은 전문가를 영구 삭제하는 전문가 가지치기(Expert pruning) 기법이다. 기존의 가지치기 방식은 각 전문가를 독립적으로 평가하는 1차원적 접근을 취하지만, 실제로는 전문가들이 협력적인 그룹을 형성하여 공동 활성화되는 특성을 보인다. 이에 따라 전문가 간의 상호 의존성을 고려한 최적의 제거 전략 수립이 모델 경량화의 핵심 과제로 부상하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.