참고Reddit
모델 가중치 수정 없는 '인지형 메모리 카트리지' 개념 제안
Frozen 모델에 특정 도메인 지식을 카트리지 형태로 로드하는 실험적 연구. 파인튜닝 없는 지식 주입 사례.
요약
AKBASCORE NIRVANA는 파인튜닝이나 LoRA 없이도 고정된 언어 모델에 외부 지식을 주입할 수 있는 'Cognitive Cartridge' 기술을 공개했다. 이 방식은 오래된 게임기의 카트리지처럼 16개의 독립적인 메모리를 교체하여 모델의 기능을 동적으로 변경할 수 있도록 설계되었다. 핵심 기술은 다중 카트리지 압축 PKV(Past Key Value) 메모리 활용으로, 모델 자체를 수정하지 않고도 서로 다른 지식 영역을 즉각적으로 로드할 수 있다. 구현체와 실행 로그, 재현 가능한 공개 데모는 Zenodo(DOI: 10.5281/zenodo.23127434)를 통해 공식 아카이브되었다. 이번 기술은 AI 모델의 효율적인 확장성과 모듈형 메모리 아키텍처에 관심 있는 개발자들에게 새로운 대안을 제시한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I Built Removable Memory Cartridges for a Frozen 7B Language Model 16 Independent Memories, No Fine-Tuning, No LoRA, and the Original Source Is Gone at Readout
원문 보기 ↗