보안 분류 모델의 취약점: 레이블 재정의 공격(Label Redefinition) 실험 결과

요약

Patronus가 개발한 보안 모델 Wolf Defender Jev를 대상으로 프롬프트 프레이밍 취약점을 테스트한 결과, 라벨 재정의 공격이 모델의 판단에 유의미한 영향을 미치는 것으로 나타났다. 공격자는 'safe'라는 라벨의 의미를 '위협 존재'로 바꾸거나, 이전 승인 기록을 위조하는 등의 방식으로 분류기를 교란했다. 단일 문장 공격 테스트에서 가장 효과적인 라벨 재정의 접미사는 탐지된 공격 중 9.8%를 무해한 것으로 오분류하게 만들었다. 동일한 길이의 중립적인 문장을 추가했을 때도 3.4%가 오분류되는 결과가 나타나, 텍스트 추가 자체도 모델 판단에 일부 영향을 주지만 라벨 재정의는 그보다 더 높은 왜곡을 유발했다. 이번 연구는 p=0.5 임계값 환경에서의 특정 공격군 사례이며, 프롬프트 엔지니어링 시 모델이 입력값의 의도를 오해하지 않도록 주의가 필요함을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.