중요The Verge
OpenAI(오픈AI)·구글·MS·Anthropic(앤트로픽), AI 학습 거부 통합 표준 'Policy Token' 도입
robots.txt에 AI별 개별 설정 없이 한 번에 학습 거부 선언 가능. 데이터 수집·콘텐츠 정책 재점검 필요.
요약
OpenAI, Google, Microsoft, Anthropic 등 주요 AI 기업들이 웹사이트 운영자가 AI 학습용 데이터 수집을 거부할 수 있는 새로운 표준을 도입한다. 해당 표준은 Anthropic의 기술 책임자인 Kevin Kelley가 IETF(Internet Engineering Task Force)의 일환으로 제안한 것으로, 공유 '정책 토큰(policy token)' 신호를 활용한다. 기존에는 각 AI 기업마다 일일이 수집 거부 설정을 해야 했으나, 앞으로는 웹사이트의 robots.txt 파일 내에 이 신호를 추가하는 것만으로 여러 AI 기업에 한 번에 설정값을 적용할 수 있게 된다. 이는 검색 색인이나 아카이빙 등 기존의 크롤링 제어 방식과 유사하게 작동하며, 퍼블리셔들의 데이터 통제권을 강화하려는 목적이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 The biggest names in AI are backing a new way to opt out of scraping
원문 보기 ↗