참고팁Reddit
AkbasCore MAM-BÇ: LLM 상태 메모리를 4.7MB 파일로 외재화 및 복구 기법 공개
Qwen2.5(큐원 2.5)-7B 모델에서 가중치 변경 없이 메모리를 파일로 저장/복구 가능. 컨텍스트 효율화 연구 시 참고.
요약
AkbasCore 개발자가 Qwen2.5-7B-Instruct 모델의 메모리를 외부 파일로 저장하고 불러오는 'AkbasCore MAM-BÇ' 기술을 공개했다. 이 방식은 모델의 가중치를 전혀 변경하지 않고도 96개의 사실 데이터를 4.7MB 크기의 파일로 저장한 뒤, 필요할 때 다시 로드하여 모델이 해당 데이터를 참조해 답변하도록 구현했다. 핵심은 소스 문장을 모델에 직접 입력하지 않고도 외부 메모리만으로 질의응답이 가능하다는 점이다. 트랜스포머 모델의 고정된 입력 방식인 '타이프라이터' 구조적 한계를 극복하려는 시도로, 모든 코드는 오픈 소스로 공개되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AkbasCore MAM-BÇ: I saved a frozen LLM's memory to a 4.7 MB file, reloaded it bit for bit, and the model answered from the file alone, without seeing the text again (Qwen2.5-7B, open code, DOI)
원문 보기 ↗