참고X
최근 30일 웹 트래픽 분석: 봇 트래픽이 인간의 4.25배, LLM 학습에 메타 모델이 87% 점유
서비스 개발 시 AI 봇 크롤링 부하 관리 및 비즈니스 데이터 보호 전략 수립에 참고할 만한 수치입니다.
요약
최근 30일간 TrustMRR 플랫폼의 트래픽 분석 결과, AI 봇 방문자가 85만 회를 넘어서며 일반 사용자 트래픽보다 4.25배 더 높은 것으로 나타났다. LLM 학습을 위한 크롤링 비중은 Meta가 87%를 차지하며 압도적인 1위를 기록했다. 검색 인덱싱 측면에서는 OpenAI가 Google보다 2배 더 활발하게 사이트를 크롤링하고 있다. 특히 ChatGPT는 사용자 질문에 답변하기 위해 타 어시스턴트 대비 20배 더 많은 빈도로 사이트를 크롤링하는 것으로 확인되었다. 이번 데이터는 AI 에이전트와 LLM 모델들의 웹 데이터 수집 활동이 기존 검색 엔진보다 훨씬 공격적으로 이루어지고 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @marclou: AI bot traffic on TrustMRR in the last 30 days: 🤖 850K+ visits 🧑💻 4.25x human traffic 🧠 Meta dominates LLM training (87%) 🔎
원문 보기 ↗