텐센트, 멀티모달 통합 이미지 생성 모델 'WeLM-Image' 공개

요약

텐센트와 위챗이 개발한 'WeLM-Image'는 텍스트 기반 이미지 생성, 명령 기반 편집, 다중 참조 합성 기능을 통합한 새로운 이미지 파운데이션 모델이다. 이 모델은 31.7B 파라미터 규모에 실제 활성화 파라미터는 5.4B로 줄인 Mixture-of-Experts(MoE) 구조를 채택해 단일 GPU 환경에서도 효율적인 배포가 가능하다. 아키텍처는 Mixture-of-Transformers(MoT)를 기반으로 하여 공유 어텐션과 독립적인 이해·생성 파라미터를 결합, 최적화 간섭을 최소화하도록 설계되었다. 텍스트, 참조 이미지, 타겟 레이턴트를 하나의 교차 시퀀스로 처리하며 위챗의 대규모 소비자 애플리케이션 환경에서의 활용을 염두에 두고 개발되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.