LLM 기억 계층의 취약점: 반복적인 거짓 정보 주입 시 신뢰도 점수 왜곡 확인

요약

최근 Reddit의 r/LLMDevs 커뮤니티에서 LLM의 기억 계층(Memory Layer)이 반복되는 거짓 정보에 취약하다는 실험 결과가 공유됐다. 실험자는 질문에 대해 모델이 모를 경우 "모른다"고 답하도록 설계된 신뢰도 게이트(Confidence Gate)를 구축했으며, 정직한 질문에는 0.956의 AUROC를 기록하며 정확하게 작동했다. 그러나 동일한 주제에 대해 진실을 한 번 말한 뒤 거짓 정보를 3회 반복 입력하자, 모델은 거짓을 100% 사실로 받아들였다. 놀라운 점은 거짓 정보가 입력될수록 모델의 신뢰도 점수가 4.45에서 6.6으로 오히려 상승했다는 사실이다. 실험 결과 거짓 정보가 3회 이상 반복될 경우, 데이터 샘플 크기와 관계없이 모델은 단 한 번도 올바른 정답을 내놓지 못했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.