참고X
모델 경량화 아키텍처 'SAOD' 공개: 744B 모델을 100GB 이하로 압축
MoE 기반 모델의 메모리 효율을 극대화하는 새로운 아키텍처. 로컬 추론 성능 최적화 연구 시 참고.
요약
AI 모델 GLIMPSE는 현재 새로운 아키텍처인 SAOD를 기반으로 개발이 진행 중이다. 기존 MoE 방식이 원본 전문가 모델을 그대로 사용하는 것과 달리, SAOD는 프롬프트에 적응하는 전문가 모델을 재구성하는 방식을 취한다. 이 기술은 수백 GB에 달하는 가중치를 로드하는 대신, 로컬 메모리 내에서 모든 전문가 모델에 접근할 수 있도록 세션별로 압축된 표현을 생성한다. 결과적으로 744B(1.5TB) 규모의 모델을 100GB 미만으로 압축하는 효율을 달성했다. 개발자는 향후 연구 논문과 저장소를 공개할 예정이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @jun_song: GLIMPSE Development Update: Development is currently underway, utilizing a new architecture called SAOD. Traditional MoE streams t
원문 보기 ↗