미군, AI 챗봇의 환각으로 중국 선박 타격 직전 작전 중단

요약

올해 봄, 미군이 중국 선박에 대한 무력 작전을 준비하던 중 해당 작전의 근거가 된 정보가 AI 챗봇의 환각(Hallucination) 현상에 의한 것임이 밝혀져 작전이 급히 중단되었다. 당시 특수작전사령부 분석가는 오픈소스 데이터와 기밀 정보를 합성하기 위해 AI 챗봇을 활용했으나, 챗봇이 선박의 화물 목록을 오인하면서 핵무기 관련 부품을 운송 중이라는 허위 보고서가 생성되었다. 분석가는 해당 오류를 확인하지 못한 채 공식 보고서 형태로 가공해 지휘부까지 유포했으며, 다행히 막판에 사실 확인이 되면서 충돌 위기를 피했다. 이번 사건은 미 국방부가 의사결정 속도를 높이기 위해 AI 도입을 가속화하는 가운데, 충분한 인간의 검증 없이 시스템에 의존할 경우 발생할 수 있는 위험성을 극명하게 보여준다. 군사 전문가들은 AI가 '킬 체인(Kill Chain)'을 가속화하는 이점이 있지만, 그만큼 치명적인 오류가 검증 없이 지휘 계통 상위로 전달될 수 있다는 점을 경고하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.