참고팁X
웹 스크래핑부터 데이터 가공까지 자동화하는 'Cowler' 워크플로우
Python(파이썬)/Playwright 기반으로 웹 데이터를 긁어 Claude Code(클로드 코드)와 연결하는 실용적인 자동화 파이프라인 구현 사례.
요약
X 사용자 @MyWestLord가 웹사이트의 데이터를 효율적으로 수집하는 파이썬 기반 크롤러 'Cowler'를 공개했다. Cowler는 Python, Playwright, BeautifulSoup을 활용해 웹페이지의 헤딩, 텍스트, 메타데이터, 가격, 사양 등 핵심 정보만을 선택적으로 추출한다. 특히 메뉴나 배너 등 불필요한 요소는 건너뛰며, asyncio를 통해 동시에 다수의 페이지를 탐색하고 중복을 제거한 사이트맵을 구축한다. 수집된 데이터는 깔끔한 JSON이나 데이터베이스로 저장되며 Claude Code, Obsidian, Grok 등과 연동되어 자동화된 기록 및 분석을 지원한다. 사용자는 이를 통해 웹사이트를 직접 방문하지 않고도 업데이트를 감시하거나 머신러닝용 데이터셋을 구축하는 용도로 활용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @MyWestLord: I TAUGHT A COW TO READ THE INTERNET AND NOW IT MILKS EVERY WEBSITE IT SEES. It's called Cowler, cow + crawler. Yes, it runs on its
원문 보기 ↗