AI 에이전트의 '망각' 구현, 삭제가 아닌 순위 하락일 때 발생하는 데이터 오염 문제

요약

Reddit의 r/LLMDevs에서 LLM의 '기억 삭제' 구현 방식에 관한 논의가 주목받고 있다. 최근 한 개발팀은 메모리 엔진에서 '철회됨(retracted)'으로 표시된 정보가 모델에 전달될 때, 삭제되는 대신 -0.3의 우선순위 페널티만 부여된 채 여전히 참조되고 있음을 발견했다. 이는 모델이 해당 정보를 완전히 잊지 않고 신뢰도만 낮춘 상태로 학습하여 답변에 노출시키는 원인이 됐다. 더 큰 문제는 저장소, 쿼리 렌더러, 문맥 어셈블리, 학습 데이터 추출기 등 4개의 하위 시스템이 '철회됨'이라는 상태를 각기 다르게 해석하여 정보가 프롬프트로 유출되는 현상이 발생했다는 점이다. 이를 해결하기 위해 개발팀은 정보의 상태를 증거의 성격(검증됨, 논쟁 중 등)과 처리 정책(유효성)으로 구분하여 로직을 재설계했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.