참고Reddit
Ostris, Flux.2 대응 효율적인 'Primal VAE' 오픈소스 공개
이미지 생성 모델의 VAE 파이프라인 효율을 개선하는 새로운 컴포넌트. 로컬 이미지 생성 환경 최적화 시 활용 가능.
요약
AI 모델 연구자 Ostris가 기존 Flux.2 VAE보다 성능이 개선된 새로운 VAE 모델인 Primal VAE를 공개했다. Primal VAE는 2배 공간 다운샘플링을 통해 1채널(또는 2채널)로 압축하며, 4패치 시 기존 최신 VAE와 동일한 8배 압축 및 16채널 효율성을 유지한다. 이 모델은 별도의 복잡한 압축 과정 없이 DiT가 패칭을 담당하며 VAE 구조 자체는 간결하게 유지하는 것이 특징이다. 또한 잠재 표현(latent)의 노름(norm)을 노이즈와 일치하도록 학습시켜 스케일링, 시프트 팩터, 정규화 과정이 필요 없다. 사용자는 인코딩 후 4패치 처리를 거쳐 바로 확산 모델에 적용할 수 있으며, 현재 허깅페이스(Hugging Face) 저장소를 통해 이용 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ostris releases Primal VAE - better than Flux.2 VAE.
원문 보기 ↗