오픈AI·구글·MS·앤트로픽, AI 학습 거부 공통 규격(robots.txt) 수용

요약

오픈AI, 구글, 마이크로소프트, 앤트로픽은 웹사이트 운영자가 단 한 번의 설정으로 여러 AI 기업의 학습용 콘텐츠 수집을 거부할 수 있는 공통 신호 체계를 도입하기로 했다. 기존에는 각 기업별 크롤러(GPT봇, 구글 익스텐디드 등)마다 별도의 차단 규칙을 설정해야 했으나, 앞으로는 웹사이트의 'robots.txt' 파일에 공통 식별자('User-Agent: __usage_ai-training')를 추가하는 것만으로 학습 거부 의사를 통합 전달할 수 있다. 구글은 2027년 초, 마이크로소프트는 2027년 2월 1일부터 해당 설정을 지원할 예정이며, 기존 '노아카이브', '노캐시' 설정을 사용하던 웹사이트는 2027년 3월 1일까지 전환이 필요하다. 단, 이번 조치는 AI 학습용 데이터 활용에 관한 의사 표시일 뿐 검색 결과 노출 자체를 차단하거나 AI의 실시간 답변 생성(그라운딩)을 막는 기능은 아니다. 현재 해당 규격은 국제인터넷표준화기구(IETF)의 초안 단계로 강제성이 없으며, 향후 관련 사업자들의 자발적인 준수 여부가 실질적인 효과를 결정할 전망이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.