영상 생성 모델을 위한 최적화된 희소 어텐션(Sparse Attention) 기법

요약

최근 레딧(Reddit)에서 H3 Minimax 모델의 Sparse Attention을 최적화하는 새로운 구현 방식이 공유되었다. 해당 방식은 비디오 생성 시 어텐션 유지 비율을 조정해 연산 효율을 높이는 것이 핵심이며, 저동작 비디오에서는 10~15%, 고동작 비디오에서는 약 30%의 유지 비율로도 충분한 성능을 발휘한다. 연산 시간 분석 결과, 100% 어텐션 시 전체 컴퓨팅의 2/3가 어텐션에 소요되지만 50% 수준에서는 어텐션과 MLP/QKV 비중이 5:5로 균형을 이룬다. 30% 이하로 유지 비율을 낮추면 MLP/QKV 연산이 전체 컴퓨팅 시간의 주된 요인이 된다. 개발자는 Minimax의 가이드라인에 따라 비디오 데이터에만 이 Sparse Attention을 적용하는 방식을 채택했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.