참고팁Reddit
LLM 내부 상태를 활용한 수치 메모리 카트리지 'Cognitive Cartridge' 공개
RAG나 파인튜닝 없이 모델의 연산 결과를 수치화하여 외부 메모리로 저장하고 주입하는 새로운 방식의 경량화 기법.
요약
AKBASCORE NIRVANA 프로젝트는 외부 데이터베이스나 RAG, 파인튜닝 없이 LLM 자체의 내부 연산을 통해 추출한 수치형 데이터를 메모리화하는 'Cognitive Cartridge' 기술을 선보였다. 개발자는 Qwen2.5-7B-Instruct와 Mistral-7B-Instruct-v0.3 모델을 대상으로 이 기술을 적용해 제거 가능한 메모리 카트리지를 구현했다. 모델이 텍스트를 처리한 후 이를 원문 저장 없이 수치화된 트랜스포머 메모리로 패키징하여, 필요시 다시 모델에 삽입해 질의응답이 가능하다. 현재 Qwen2.5-7B-Instruct(DOI: 10.5281/zenodo.23127434)와 Mistral-7B-Instruct-v0.3(DOI: 10.5281/zenodo.23143605)에 대한 영구 기록이 Zenodo에 공개되었다. 개발자는 현재 이 메모리 뱅크 기술의 확장성을 검토하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AKBASCORE NIRVANA — I Built Removable Numerical Memory Cartridges for Two Different Frozen 7B LLMs. Qwen and Mistral Both Work. Now I’m Scaling the Memory Bank.
원문 보기 ↗