참고X
주요 오픈 모델들의 아키텍처 공통점: 'Sliding Window Attention' 활용
Thinking Machines, Gemma 등 주요 오픈 모델이 Sliding Window Attention을 채택하고 있다는 기술적 관찰.
요약
최근 서구권 주요 AI 연구소에서 발표한 오픈 모델들이 공통적으로 슬라이딩 윈도우 어텐션(sliding window attention) 방식을 채택하고 있다는 분석이 나왔다. @eliebakouch의 X 게시물에 따르면, Thinking Machines, Microsoft MAI, Google의 Gemma, GPT-OSS 등 주요 오픈 모델들이 모두 이 구조를 사용한다. 슬라이딩 윈도우 어텐션은 긴 문맥을 처리할 때 연산 효율성을 높이는 기법으로 알려져 있다. 해당 모델들은 대부분 폐쇄형 AI 연구소 출신 인력이 주도했다는 공통점도 있다. 이러한 기술적 공통점은 최근 오픈 모델 개발 트렌드에서 효율적인 아키텍처 구성이 중요하게 다뤄지고 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @eliebakouch: fun fact, literally all the open models from western "big labs" (with a lot of ex close lab people), so thinking machine, microsof
원문 보기 ↗