10M 토큰 문맥에서 어텐션 연산 23배 가속하는 'Latent Sparse Attention' 기술 분석

요약

기존 희소 어텐션(Sparse Attention) 기술은 문맥이 1,000만 토큰에 달할 때 어텐션 자체보다 어떤 키를 선택할지 결정하는 인덱싱 과정에서 O(T^2) 복잡도가 발생하여 병목 현상이 나타난다. 이를 해결하기 위해 등장한 '잠재 희소 어텐션(LSA, Latent Sparse Attention)'은 키를 위치 기반이 아닌 의미 기반으로 그룹화하여 처리하는 새로운 방식을 제안했다. LSA는 키를 64차원 인덱스 공간에 투영하고 유사성 기반으로 클러스터링하여 쿼리가 센트로이드만을 점수화하도록 함으로써 연산 효율을 크게 높였다. Qwen-3.8-27B 모델 테스트 결과, LSA는 1,000만 토큰 환경에서 전체 어텐션 대비 72.4배, GLM-5.3-Flash 대비 22.7배 빠른 프리필(prefill) 속도를 기록했다. 다만 LSA는 연산 속도 개선에는 효과적이나 KV 캐시 메모리 증가 문제는 여전히 해결해야 할 과제로 남아 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.