TikTok 영상·프로필 데이터 60억 개 규모 데이터셋 공개
대규모 멀티모달 학습이나 트렌드 분석에 활용 가능한 오픈 데이터셋입니다.
요약
데이터 분석가 DataShack이 3주 동안 틱톡(TikTok) 모바일 앱을 리버스 엔지니어링하여 수집한 59억 4천만 개의 영상과 32억 3천만 개의 프로필 데이터를 허깅페이스(Hugging Face)에 공개했다. 해당 데이터셋은 영상, 프로필, 댓글, 답글, 해시태그, 음원 정보 등을 포함하고 있으며, 작성자가 수년 전 개발한 수집 방식을 활용해 추출되었다. 수집 과정에서 틱톡 앱의 인증 없이 접근 가능한 24개의 엔드포인트를 활용했으나, 이러한 데이터 접근은 틱톡의 서비스 약관(ToS)을 위반할 가능성이 있다. 데이터셋은 현재 누구나 허깅페이스에서 무료로 다운로드할 수 있다. 구체적인 수집 방법과 관련 코드에 대한 상세 내용은 별도의 웹사이트를 통해 확인할 수 있으나, 전체 코드 접근은 유료로 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I scraped 5.94 billion TikTok videos and 3.23 billion profiles in 3 weeks. Uploaded full dataset to Hugging Face for free. Step by step tutorial and code below. [P]
원문 보기 ↗