참고Reddit
Percepta, 모델 가중치 수정 없이 지식 확장하는 'Spotlight' 아키텍처 공개
가중치 변경 없이 기억력을 무한히 확장하는 새로운 아키텍처. 로컬 LLM의 메모리 제약 해결 가능성을 제시해 아키텍처 연구 시 주목할 가치가 있음.
요약
Percepta가 새로운 아키텍처 'Spotlight'를 공개하며 LLM의 지능과 메모리를 분리하는 기술을 선보였다. Spotlight는 기존 어텐션 메커니즘을 대체하여 모델 가중치를 변경하지 않고도 지식과 기술을 확장할 수 있는 무한 메모리 아키텍처를 구현한다. 모든 토큰이 무제한 메모리를 읽고 쓸 수 있지만, 각 토큰이 학습을 통해 필요한 특정 메모리 셀만 인덱싱하여 접근하므로 효율적인 연산이 가능하다. 기존 Mixture-of-Experts(MoE) 모델과 달리 메모리 크기가 증가해도 각 토큰이 접근하는 메모리 셀 수는 일정하게 유지되어 연산 비용이 늘어나지 않는다. 이 접근법은 모델의 성능 향상과 메모리 확장성 사이의 트레이드오프를 해결하는 새로운 대안으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 New Architecture from Percepta: Spotlight — separating intelligence from memory, allowing knowledge and skills to grow without changing the model's weights.
원문 보기 ↗