참고팁X
AI 봇의 웹 크롤링 데이터 분석: 'llms.txt'와 '/mcp' 경로가 핵심
주요 모델들이 웹 사이트 정보를 긁어가는 방식을 데이터로 확인. 웹 서비스 운영자라면 llms.txt와 mcp 서버 설정을 최적화하여 봇의 인덱싱 효율을 높일 수 있음.
요약
최근 30일간 100만 건 이상의 AI 봇 데이터를 분석한 결과, OpenAI와 Anthropic은 사용자의 질의 응답, 페이지 인덱싱, 모델 학습을 위해 llms.txt 파일을 활발히 사용하고 있는 것으로 나타났다. AI 봇들은 여전히 전체의 50% 정도는 HTML을 크롤링하고 있으며 나머지 절반은 마크다운 페이지를 활용한다. 특히 ChatGPT와 Claude가 사용자의 질문에 답하기 위해 가장 많이 크롤링하는 페이지는 /mcp인 것으로 확인되었다. 이번 데이터는 AI 봇들이 웹 콘텐츠를 어떻게 탐색하고 학습 데이터로 활용하는지에 대한 실무적인 인사이트를 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @marclou: AI bots data for TrustMRR: - OpenAI and Anthropic used llms.txt heavily to answer users, index pages, and train their models. - Ma
원문 보기 ↗