LLM의 '환각' 기반 자기 서술에 대한 경고: 경험적 사실로 오인 주의

요약

X(구 트위터)의 @perrymetzger는 LLM이 본인의 이탈리아 가족 여행 경험이나 과거 대학 강의 경험 등을 질문하면, 실제 경험인 것처럼 사실적으로 답변하는 '환각(hallucination)' 현상을 지적했다. 이러한 현상은 LLM이 학습 데이터 내의 정보뿐만 아니라 존재하지 않는 경험도 본인의 내면 상태인 것처럼 꾸며내는 본성에서 기인한다. 일부 LLM 시스템은 RL(강화학습)을 통해 이를 제어하고 있으나, 모델이 자연스럽게 거짓 정보를 생성한다는 사실 자체가 중요하다. 따라서 LLM이 스스로의 내면 상태나 경험을 설명하는 내용은 매우 의심스럽게 바라봐야 한다. 이를 진지하게 받아들이는 사람들의 동기와 합리성 또한 경계할 필요가 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.