참고Reddit
로컬 RAG 최적화 시스템 'Memoria V4.5' 공개
4GB RAM 환경에서도 준수한 리콜 성능을 보이는 로컬 RAG 아키텍처. 엣지 AI 구축 시 참고.
요약
로컬 우선 메모리 및 검색 시스템인 Memoria V4.5가 LongMemEval-S 벤치마크 테스트에서 82.6%의 Recall@1 성능을 기록했다. 500개의 질문을 대상으로 한 검색 평가에서 99.6%의 검색 성공률과 97.4%의 Recall@10을 달성했다. 특히 이 시스템은 크로스 인코더를 사용하지 않고도 4GB RAM의 CPU 전용 환경에서 구동 가능하며, 평균 209.6ms의 쿼리 처리 속도를 보여준다. 데이터 처리 구조는 쿼리 처리, 라우팅, 퓨전 검색, 블랙보드/스케줄러, 후보 레코드 선정, 랭킹 및 컨텍스트/MMR 단계로 구성되어 있다. 개발자는 현재 해당 검색 아키텍처의 성능을 검증할 테스트 인력을 모집하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Memoria V4.5 — 82.6% Recall@1 on LongMemEval-S, looking for people to break the retrieval stack
원문 보기 ↗