BadWAM: 월드 액션 모델(WAM) 대상 적대적 공격 취약점 분석

요약

최근 로봇 제어의 기초 모델로 주목받는 World-Action Models(WAMs)가 미래 예측과 행동 생성 사이의 정렬이 깨지는 취약점을 가지고 있음이 밝혀졌습니다. 이를 연구하기 위해 도입된 BadWAM은 미세한 시각적 변조를 통해 WAM의 예측과 행동 간의 불일치를 유발하는 새로운 적대적 공격 프레임워크입니다. 공격자는 목적에 따라 직접적으로 작업 실패를 유도하는 '액션 중심 공격'이나, 모델의 미래 예측을 정상적으로 유지하면서 행동만 조작하는 '상상 보존형 공격'을 선택할 수 있습니다. 실험 결과, 액션 중심 공격을 수행했을 때 모델의 작업 성공률이 96.5%에서 43.1%로 급감하는 등 WAM의 구조적 취약성이 입증되었습니다. 특히 상상 보존형 공격은 모델이 그럴듯한 미래를 상상하는 것처럼 보이면서도 잘못된 행동을 수행하게 만들어, 시스템의 신뢰성에 큰 위험을 초래할 수 있음을 보여줍니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.