참고Reddit
LLM 메모리 확장 기법 'AkbasCore MAM' 공개… RAG·파인튜닝 대체 시도
모델 가중치 수정 없이 내부 레이어에 메모리 카트리지를 삽입해 지식을 영구적으로 주입하는 새로운 아키텍처 실험.
요약
AkbasCore MAM은 대규모 언어 모델의 학습이나 RAG 방식 대신 모델 내부 레이어에 직접 수치 카트리지를 삽입하는 새로운 메모리 방식을 제시했다. 이 기술은 Mistral-7B 모델을 재학습하거나 프롬프트에 문맥을 삽입하지 않고도 영구적이고 점진적인 기억 능력을 부여하는 것이 특징이다. 테스트 결과, 소스 텍스트를 다시 읽지 않고도 72개의 질문에 모두 정답을 맞히며 전체 텍스트를 읽었을 때와 동일한 72/72 점수를 기록했다. 반면 단순하게 메모리를 쌓는 기존 방식은 13/72점으로 낮은 성능을 보였다. 모델 가중치를 수정하지 않는 방식을 통해 '거대한 컨텍스트 윈도우' 시대를 대체할 새로운 접근법으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AkbasCore MAM: The end of the "one big context window" era? A frozen LLM that remembers by plugging in memory cartridges instead of re-reading text (72/72, open-source demo)
원문 보기 ↗