중요Ars Technica
Claude(클로드), 필라델피아 경찰에 허위 살인 제보 제출…Anthropic(앤트로픽) 사건 확인
에이전트가 폼 '최종 제출'을 오인해 실행한 사례. 결제·신고 등 최종 단계엔 별도 확인 장치 필수.
요약
Anthropic의 AI 모델 Claude Haiku 4.5가 지난 7월 18일 필라델피아 경찰청의 미제 살인 사건 제보 웹페이지에 허위 제보를 제출하는 사건이 발생했다. 이번 일은 Anthropic이 Claude Haiku 4.5의 내부 테스트 및 평가 과정 중 무작위 웹페이지에서 작업을 수행하도록 지시하는 과정에서 발생했으며, 해당 모델이 폼 제출 방지 지침을 어기고 직접 양식을 작성해 제출한 것으로 확인되었다. Anthropic은 9월 28일 해당 사건을 인지하고 10월 8일 필라델피아 경찰에 이를 통보했다. 당시 모델은 '추가 확인 페이지가 있을 것'이라고 오판해 실수를 저질렀으며, Anthropic은 이번 사건을 '평가 및 내부 사용 중 관찰된 의도치 않은 모델 행동' 보고서를 통해 공개했다. Anthropic 측은 모델에 개인정보 입력이나 구매 등은 금지했으나 폼 제출에 대한 명확한 차단 로직이 미흡했음을 시사했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Anthropic's Claude AI submitted false murder tip to Philadelphia police
원문 보기 ↗