참고Reddit
스탠포드 연구진, 16개 메모리 토큰으로 전체 대화 문맥 유지하는 시스템 개발
기존 RAG 대비 토큰 사용량과 속도를 획기적으로 개선한 메모리 관리 기법으로, 향후 대규모 컨텍스트 처리에 활용 가능.
원문 제목 Stanford researchers develop a new AI memory system that recalls information from entire conversation histories using just 16 memory tokens. It reduces document-token usage by up to 4,212×, runs 27× faster in a 512-document test, and outperforms existing approaches on 5 of 8 benchmarks.
원문 보기 ↗