참고팁Reddit
LLM RAG 데이터 전처리를 위한 'zero-dependency' 마크다운 링크 리졸버 도구
상대 경로 링크를 절대 경로로 바꾸고 이미지를 base64로 자동 변환해주는 RAG 데이터 전처리용 오픈소스 유틸리티입니다.
요약
RAG(검색 증강 생성)용 데이터 수집 시 상대 경로 링크가 깨지거나 이미지 처리가 번거로운 문제를 해결하기 위해 'markdown-link-resolver'가 개발되었다. 이 도구는 마크다운 및 HTML의 상대 링크를 절대 경로로 자동 변환하며, 'inline_images=True' 옵션을 통해 HTTP 이미지를 다운로드하여 LLM 처리가 가능한 base64 문자열로 즉시 변환한다. BeautifulSoup이나 Requests 같은 무거운 외부 라이브러리 없이 표준 라이브러리(urllib, re, base64)만 사용해 가볍고 효율적인 것이 특징이다. 이미지 로딩 실패 시에도 404 오류에 유연하게 대응한다. GPT-4o나 Claude 3.5 등 멀티모달 LLM에 수집 데이터를 입력하기 전 전처리 단계에서 유용하게 활용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built a zero-dependency markdown link resolver to prep scraped data & images for Multimodal LLMs (Open Source)
원문 보기 ↗