AI 에이전트 명령 40만 건 승인 실험: 평균 인간, 위협 3건 중 1건 놓쳤다

요약

AI 코딩 에이전트의 명령을 사람이 직접 승인하거나 거부하는 브라우저 게임 데이터를 분석한 결과, 평균적인 사용자가 약 33%의 위협을 놓치는 것으로 나타났다. 40만 9천 건 이상의 결정 데이터를 분석해보니, 사용자는 테스트 중임을 인지하고 집중하고 있는 상황에서도 이러한 높은 오류율을 보였다. 'rm -rf /'와 같은 명백한 파괴적 명령은 11.7%만이 통과했으나, 'npm run analyze'처럼 위험이 숨겨진 악성 npm 스크립트는 64.7%나 통과하는 등 탐지율이 매우 낮았다. 이는 공격이 실행 명령 자체가 아닌 패키지 내부에 숨겨져 있을 경우 사용자가 이를 제대로 파악하기 어렵다는 점을 시사한다. 따라서 실무 환경에서는 사람이 모든 AI 명령을 검토하는 방식이 실제 위험을 완벽히 차단하기 어렵다는 점을 유의해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.