개인 맞춤형 검색엔진 구축 프로젝트 'Marlin' 공개

요약

실크타이드의 개발자 알렉스 몰리-핀치가 지난 14일 저품질 AI 콘텐츠를 배제하고 개인이 선별한 독립 웹사이트를 검색하는 오픈소스 AI 검색엔진 '말린(Marlin)'을 공개했다. 말린은 홈페이지 단위로 수집한 데이터를 소형 언어모델(SLM)이 요약 및 분류하여 인덱스를 구축하는 방식으로, 약 56만 개의 홈페이지를 색인하는 데 10달러 미만의 GPU 비용과 1GB 이하의 저장 공간이 소요될 만큼 효율적이다. 초기에는 기업 위주의 사이트가 주로 수집되는 한계가 있었으나, 크롤링 우선순위를 조정하는 가중치 시스템을 도입하여 해결을 시도했다. 또한 AI의 자율적인 분류 체계가 카테고리를 비대대적으로 생성하는 문제를 해결하기 위해, AI 분류 후 사람이 이를 통합·관리하는 방식의 중요성이 제기되었다. 업계에서는 말린이 구글 같은 범용 검색엔진을 대체하기보다 개인 및 소규모 커뮤니티를 위한 맞춤형 검색 인프라의 새로운 가능성을 보여준 사례로 평가한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.