참고팁Reddit
에이전트용 오픈소스 스크래핑 도구 'TRAWL' 공개
Docker(도커) 기반으로 로컬에서 실행되며 브라우저 챌린지 및 인증을 관리. 에이전트 데이터 수집 파이프라인 구축 시 바로 활용 가능.
요약
AI 에이전트 및 애플리케이션을 위한 오픈소스 스크래핑 백엔드인 'TRAWL'이 공개되었습니다. 이 도구는 도커(Docker) 기반의 로컬 환경에서 실행되며, API나 MCP를 통해 URL을 입력받아 읽기 쉬운 콘텐츠를 제공합니다. HTTP 요청으로 시작해 웹 챌린지를 해결하고, 필요 시 Camoufox 브라우저를 구동하며, 획득한 세션 정보는 재사용이 가능합니다. 에이전트 워크플로우를 위해 마크다운, CSS 선택 JSON 데이터, 스크린샷 추출 기능을 지원하며 쿠키 및 스토리지 보존을 위한 격리된 세션을 제공합니다. 또한 Anubis나 NCBI 같은 작업 증명(Proof-of-Work) 장벽도 브라우저 구동 전 HTTP 단계에서 해결할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built TRAWL to give applications and agents readable content from protected pages
원문 보기 ↗