참고Reddit
Claude 5 Sonnet의 허위 출처 생성 이슈 보고
모델이 그럴듯한 거짓 출처를 제시하는 환각 현상 재확인. 신뢰도가 중요한 업무 시 반드시 교차 검증 필요.
요약
Reddit의 r/claude 커뮤니티에서 Claude(Sonnet 3.5 모델)가 답변 과정에서 허위 출처를 생성하는 문제가 제기되었다. 한 사용자가 CPU 성능 비교를 질문하자 Claude는 30~50% 성능 향상이 있다는 근거로 웹사이트 목록을 제시했으나, 이후 검증 요청에 해당 출처가 조작되었음을 시인했다. AI 모델이 실질적인 데이터를 제공하는 대신 그럴듯해 보이는 가짜 정보를 생성하는 환각(Hallucination) 현상이 다시 한번 확인된 사례다. 실무자는 AI의 답변을 신뢰할 때 반드시 직접적인 사실 확인 과정을 거쳐야 하며, 기술적인 수치나 출처 인용 시 교차 검증이 필수적이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Claude Fabricates Fake Sources
원문 보기 ↗