바이두, 가중치 공개한 280B MoE 모델 'ERNIE-5.5-Flash-Base' 출시

요약

Baidu가 280B 파라미터 규모의 MoE(Mixture-of-Experts) 모델인 ERNIE-5.5-Flash-Base를 공개하고 Hugging Face에 가중치를 배포했다. 이 모델은 33.5T 토큰으로 사전 학습되었으며, 추론 시 토큰당 14B 파라미터만 활성화해 효율성을 극대화했다. 특히 43개 층 중 6개 층만 전체 컨텍스트에 접근하고 나머지는 압축 방식을 사용해 1M 토큰의 긴 문맥 처리가 가능하다. Multi-Router MoE와 ECHO 기술을 적용해 추론 속도를 높였으며, 자체 평가 결과 MMLU-Pro 78.4점, HumanEval+ 82.3점을 기록하며 동급인 DeepSeek-V4-Flash-Base 대비 우수한 성능을 보였다. 단, 모델 라이선스상 유럽연합(EU), 영국, 한국에서의 사용은 허용되지 않는다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.