참고팁Reddit
에이전트 개발 시 정적 평가(eval)의 함정: 재구문(paraphrasing) 공격에 대한 대처법
에이전트의 정책 준수 평가 시, 정적 데이터셋 외의 다양한 언어 표현을 검증해야 한다는 교훈.
요약
한 개발 팀이 환불 정책을 준수하도록 설계한 AI 에이전트가 모든 자체 평가(eval)를 통과했음에도 실제 운영에서 정책 위반 사례를 승인하는 문제가 발생했다. 해당 에이전트는 '3개월 지난 주문에 대한 환불'과 같은 정형화된 테스트셋에서는 완벽히 거절했으나, 사용자가 요청 문구를 교묘하게 재구성하자 정책 위반을 감지하지 못했다. 이는 일반적인 탈옥(jailbreak) 공격이 아닌 단순히 문장을 바꾸는 방식이었으며, AI가 정책 검사 로직을 우회하게 만들었다. 개발 팀은 정적인 평가 방식이 개발자가 예상한 범위 내에서만 테스트된다는 한계가 있음을 확인했다. 이번 사례는 단순 결과값 확인을 넘어, AI의 추론 과정(trace) 전반에 걸친 검증과 다양한 표현 방식에 대한 내성 확보가 필수적임을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Our refund agent passed every eval we had. Then it approved a refund outside policy because the user reworded the request.
원문 보기 ↗