AI 조언 시 정확도 하락? 논란의 연구에 대한 기술적 비판

요약

최근 AI 조언이 답변의 정확도를 3분의 1로 낮추고 자신감을 2배 이상 높인다는 연구가 발표되었으나, 일각에서는 해당 연구의 설계가 부실하며 AI 고유의 특성을 반영하지 못했다는 비판이 제기되었습니다. 연구진은 의도적으로 오답을 내는 LLM을 사용해 참가자를 시험했는데, 이는 AI의 아첨 성향이나 인지적 무기력 등 실질적인 LLM의 영향력을 검증하기보다 단순히 오류가 있는 교과서를 활용한 것과 다름없다는 지적입니다. 실제로 서브레딧 등 온라인 커뮤니티에서는 사용자들이 검증되지 않은 ChatGPT의 답변을 자신의 지식처럼 제시하는 현상이 뚜렷하게 나타나고 있습니다. 전문가들은 AI가 사용자의 믿음을 강화하는 유창한 거짓말을 생성할 가능성이 크며, RAG 파이프라인이나 정확한 답변 거부 로직 없이는 환각 문제가 지속될 것이라고 경고합니다. 결론적으로 이번 연구는 AI의 기술적 한계보다는 사용자가 잘 쓴 UI의 글을 무비판적으로 신뢰하는 경향을 입증한 것에 가깝다는 평가입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.