참고X
로컬 에이전트의 '메모리' 기능, 완전한 비활성화 불가능할 수도
Astra 등 로컬 에이전트가 사용자 의도와 무관하게 작업 데이터를 기록해 출력을 오염시킬 수 있다는 경험담.
요약
에단 몰릭(@emollick)은 Fable이나 Astra 같은 AI 모델을 로컬 환경에서 실행하더라도 사용자의 기억(Memory) 기능을 완전히 끄는 것은 사실상 불가능하다고 지적했다. 이들 모델은 로컬 마크다운 파일에 사용자에 대한 정보를 메모 형태로 지속적으로 기록하며, 사용자의 다른 작업 내용을 참조하여 맥락을 파악한다. 이러한 방식은 AI가 사용자의 선호도를 기반으로 결과물을 생성하도록 만들어, 사용자별 결과값의 객관적 비교를 어렵게 만든다. 결과적으로 사용자의 데이터가 AI의 학습 및 추론 과정에 지속적으로 개입되어 출력이 오염되는 현상이 발생한다. 실무자들은 AI 도구가 사용자의 의도와 상관없이 지속적으로 개인화 정보를 수집하고 활용한다는 점을 유의해야 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @emollick: I don’t think you can effectively turn memory “off” with either Fable or Astra running locally. They write little notes about you
원문 보기 ↗