Qwen 27B(큐원 27B) 모델 대상 신규 희소 어텐션(Sparse Attention) 연구 공개

요약

최근 Reddit의 r/LocalLLaMA 커뮤니티에 초장문 컨텍스트 처리를 위한 새로운 희소 어텐션(Sparse Attention) 연구가 공개되었습니다. 연구팀은 Qwen 3.8 27B 모델의 어텐션을 희소화해도 정확도 손실이 거의 없음을 입증했습니다. 컨텍스트 길이를 10M 토큰까지 확장할 경우 일부 작업에서 정확도 저하가 발생하지만, NIAH(Needle In A Haystack) 등 대부분의 작업에서는 성능이 유지됩니다. 또한, 희소 어텐션을 차기 토큰 예측 손실(Next-token prediction loss)만으로 학습시켜도 기존 풀 어텐션과 동일한 검증 손실을 기록하면서 더 빠른 처리 속도를 달성했습니다. 해당 기술은 소규모 오픈 웨이트 모델에도 적용 가능해 로컬 하드웨어에서 저렴하게 초장문 컨텍스트를 활용할 수 있게 합니다. 커널, SGLang 통합, 논문 등 모든 연구 결과물은 오픈소스로 공개되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.