LLM 개인화 메모리, 사용자 정보 왜곡 심각 (MirageBench 연구)

요약

개인화 LLM에서 모델이 사용자 정보를 기반으로 사실을 왜곡하거나 없는 속성을 지어내는 '과잉 추론(Over-inference, OI)' 현상이 광범위하게 발생하고 있다. 연구진은 12개 모델을 대상으로 150개의 페르소나와 6개 개인화 과제를 포함한 벤치마크 'MirageBench'를 통해 평가한 결과, 모든 모델이 35%에서 49%에 이르는 과잉 추론을 보이는 것을 확인했다. 특히 주목할 점은 '자기 감시 역전(Self-Monitoring Inversion)' 현상으로, 모델이 스스로 과잉 추론을 낮게 평가할수록 실제 측정된 과잉 추론 수치는 높게 나타나는 부정적인 상관관계가 확인되었다. 이는 모델이 스스로 보고하는 신뢰도가 실제 정확성을 판단하는 데 오해의 소지가 있는 지표임을 시사한다. 연구진은 개인화 서비스의 신뢰성을 확보하기 위해 모델의 자기 평가보다 외부 검증 시스템을 도입하는 것이 필수적이라고 제언했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.