SSOG-Attention: SDPA를 대체할 서브 쿼드라틱(Sub-quadratic) 어텐션 기법 등장

요약

최근 Reddit 머신러닝 커뮤니티에서 기존 SDPA(Scaled Dot-product attention)의 연산 복잡도 문제를 해결할 수 있는 SSOG(Sum Of Separable Gaussians) 기법이 주목받고 있습니다. 기존 SDPA는 모든 토큰 간의 유사도를 계산하여 O(N²·d)의 복잡도를 가지지만, SSOG는 헤드별로 가우시안 원자를 학습하고 쿼리 토큰에 따라 기하학적으로 제어하는 방식을 사용합니다. 이러한 구조적 차이를 통해 가우시안을 분리 가능한 합으로 인수분해함으로써 복잡도를 O(N·√N·d) 수준으로 낮췄습니다. 실험 결과, SSOG는 CIFAR100과 같은 소규모 데이터셋에서 SDPA 성능을 상회했으며, IN1k 등 대규모 데이터셋에서도 동등한 성능과 더 빠른 수렴 속도를 기록했습니다. 또한, 연산 규모가 커질수록 기존 방식 대비 속도와 메모리 효율성 면에서 더 우수한 성능을 보여 실무적 활용 가능성이 기대됩니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.