참고팁Reddit
MiniMax H3용 w4a8 4비트 양자화 모델 배포 (8GB VRAM 이하 대응)
저사양 환경에서도 MiniMax H3를 효율적으로 구동 가능한 최적화 모델 및 설정 공유.
요약
Kijai가 저사양 VRAM 환경(8GB 이하) 사용자를 위해 MiniMax 모델의 4비트(w4a8) 버전을 공개했다. w4a8은 int4 수준의 압축을 지원하면서도 기존 int8 방식보다 빠르거나 동등한 성능을 제공하는 것이 특징이다. 해당 모델을 구동하기 위해서는 ComfyUI를 최신 버전으로 업데이트해야 하며, CUDA 13.0 이상의 환경이 필수적으로 요구된다. 공개된 모델은 12.5GB와 11.8GB 용량의 파일로 나뉘어 제공된다. 또한, 기존 4.9GB의 fp16 VAE 대신 2.9GB 용량의 int8 convrot 비디오 VAE도 함께 사용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 For 8GB (& below) Vram Rockers, kijay released a 4 bit version of minimax
원문 보기 ↗