AI 조언, 판단력 약화시켜… 의존성 주의보
AI 답변에 대한 과신으로 정답률이 27%에서 9%로 급락했다는 연구 결과. AI 에이전트 설계 시 '인지적 항복' 현상 고려 필요.
요약
프랑스 및 이탈리아 대학 연구진이 AI 조언을 활용할 때 인간의 판단력이 급격히 저하되는 '인지적 항복' 현상을 확인했다. 실험 결과, AI 조언을 이용할 때 '모른다'고 답할 확률은 44%에서 3%로, 정확도는 27%에서 9%로 급감했으나 자신감은 30%에서 76%로 오히려 2배 이상 상승했다. 연구팀은 의도적으로 오류가 잦은 Gemini 1.5 Flash 모델을 사용하여 영화 속 시각 정보 등 까다로운 질문을 던졌으며, 스스로 정답을 맞힐 수 있었던 참가자들조차 AI의 오답을 그대로 수용하는 경향을 보였다. 금전적 인센티브를 제공했을 때도 정확도는 16%까지 개선되는 데 그쳐, AI의 잘못된 조언을 무비판적으로 수용하는 문제를 완전히 해결하지 못했다. 와튼스쿨 연구진 또한 사람들이 틀린 AI 답변을 80% 확률로 수용하는 유사한 현상을 보고한 바 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AI advice made people 3x less accurate but 2x confident, researchers found
원문 보기 ↗