참고Reddit
메모리 네이티브 아키텍처 'memt-1.0' 기술 분석: Gated DeltaNet-2와 Mixture-of-Storage 도입
컨텍스트 윈도우 한계를 극복하기 위해 모델 상태 내에 절차적 경험을 직접 내재화하는 최신 기법.
요약
Memt-1.0은 기존의 프롬프트 스태킹이나 외부 RAG 파이프라인을 사용하는 대신, 모델 연산 계층에 직접 메모리를 통합한 메모리 네이티브 아키텍처를 도입했다. 핵심 기술인 Gated DeltaNet-2는 토큰 단위의 안정적인 메모리 업데이트 메커니즘을 제공하며, Mixture-of-Storage(MoS) 계층을 통해 메모리 용량을 확장한다. 이 모델은 에이전트의 다중 턴 작업 과정에서 검색된 절차적 경험을 모델 가중치와 상태로 즉시 내재화하여 컨텍스트 윈도우 팽창 문제를 해결한다. 이를 통해 표준 에이전트 대비 메모리 저장 공간 점유율을 66배까지 줄이는 효율성을 달성했다. 결과적으로 Memt-1.0은 전체 컨텍스트 KV 캐싱과 내부 매개변수 메모리 간의 절충안을 제시하며 에이전트 기억력의 새로운 구조를 제안한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 memt-1.0 architecture breakdown gated deltanet-2, mixture-of-storage, and 66x smaller storage footprint for agent memory [D]
원문 보기 ↗