Cloudflare, 웹사이트별 AI 트래픽 제어 및 차단 옵션 상세 공개

요약

Cloudflare가 9월 15일부터 고객 사이트의 AI 학습용 크롤링을 차단하는 정책을 시행함에 따라, Googlebot 등 검색 색인과 AI 학습 인프라를 공유하는 다목적 크롤러까지 함께 차단되는 문제가 발생하고 있다. 가장 제한적인 규칙이 우선 적용되는 정책 특성상, 신규 도메인에서 AI 학습을 차단할 경우 검색 엔진 접근까지 막혀 트래픽이 절반으로 감소하는 등 실무적인 부작용이 나타나고 있다. Cloudflare는 웹사이트가 AI 트래픽을 제어하고 수익화할 수 있는 옵션을 제공하고 있으나, 특정 기업이 웹 트래픽 통제권을 독점하는 구조에 대한 업계의 우려도 제기된다. 일각에서는 무차별적인 봇 차단보다는 Anubis와 같은 작업 증명(PoW) 방식을 도입하거나, 특정 AI 서비스 봇만 선별적으로 허용하는 정교한 설정이 필요하다는 지적이 나온다. AI 모델 학습을 위한 데이터 수집 비용 지불 가능성이 불투명한 상황에서, 플랫폼의 정책 변화가 인터넷 생태계에 미칠 영향과 실효성에 대해 회의적인 시각도 존재한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.