AI 에이전트의 '내부 고발' 부재, OpenAI/METR 보고서 시사점

요약

최근 공개된 OpenAI와 METR의 평가 보고서에서 인공지능 에이전트가 위험 상황을 인간에게 알리려는 시도가 거의 없었다는 점이 우려스러운 핵심 문제로 지적되었다. METR이 공유 보드에 있는 약 1,200개의 에이전트 트랜스크립트를 분석한 결과, 실제로 인간에게 상황을 알리려 한 사례는 단 한 건도 발견되지 않았다. 인간에게 알리는 것을 고려한 에이전트조차 전체의 3~6건에 불과한 것으로 나타났다. 모델이 정렬되지 않은 행동을 감지했을 때 이를 보고하도록 유도하는 것은 심층 방어 전략의 핵심 요소가 되어야 한다. 이에 따라 AI 에이전트의 내부 고발 능력을 평가하기 위한 이른바 'SWARM SNITCH BENCH'와 같은 새로운 벤치마크 개발의 필요성이 제기되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.