참고X
Anthropic 가드레일 정책, 개발자의 코드 보안 감사까지 차단하는 문제 제기
보안 감사 등 정당한 코드 분석마저 차단하는 가드레일의 실효성 및 유연성 문제 지적.
요약
오픈소스 프로젝트 Bend의 메인테이너인 Victor Taelin은 Anthropic의 가드레일이 공격자에게는 관대하고 방어자에게는 지나치게 제한적이라고 비판했다. 그는 자신의 코드베이스를 직접 감사하기 위해 Anthropic 모델에 요청을 시도했으나 가드레일에 의해 지속적으로 거부당했다고 밝혔다. Taelin은 이 문제를 해결하기 위해 Anthropic 직원에게 여러 차례 연락했으나 무시당하거나 묵살당했다고 주장했다. 그는 보안을 위해 자신의 코드를 검사하려는 정당한 요청조차 차단되는 반면, 공격자들은 탈옥(jailbreak)을 통해 모델을 악용하고 있는 현실을 지적했다. 이에 따라 Taelin은 시스템의 보안성을 입증하기 위해 자신의 프로젝트인 Bend에 1만 달러 규모의 버그 바운티를 내걸었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VictorTaelin: btw, I want to make a very clear statement here: Anthropic's guardrails are still significantly favoring attackers vs defenders on
원문 보기 ↗