참고Reddit
MiniMax H3 아키텍처 분석: Qwen3-VL-32B 인코더 및 33B 트랜스포머 확인
모델의 내부 구조가 밝혀짐에 따라, 로컬 최적화 및 추론 최적화 작업 시 파라미터 구성 정보를 활용 가능.
요약
Reddit 커뮤니티에서 MiniMax H3 모델의 아키텍처에 대한 상세 분석이 제기되었습니다. ComfyUI 개발자 등의 정보를 종합하면, 해당 모델은 Qwen3-VL-32B를 텍스트 인코더로 사용하며 50개의 레이어를 포함하는 것으로 확인되었습니다. 모델의 파라미터 규모는 30B에서 33B 사이로 추정되며, Hugging Face Diffusers의 풀 리퀘스트를 통해 'shared 33B transformer' 구조를 갖춘 것으로 나타났습니다. 또한, 해당 모델은 CFG 증류(distillation)를 거친 버전과 그렇지 않은 버전을 포함해 두 가지 변형이 존재할 가능성이 있습니다. 현재 ComfyUI 공식 저장소에서 관련 지원을 위한 기술적 통합 작업이 진행 중입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 It looks like MiniMax H3 uses Qwen3-VL-32B as Text Encoder and has has a split Transformer
원문 보기 ↗