Papers with Code의 하이브리드 검색 시스템 구현 기술 공유

요약

Papers with Code는 AI 연구 자료 검색의 정확성을 높이기 위해 Hugging Face Inference Endpoints, Jobs, Buckets를 활용한 하이브리드 검색 시스템을 구축했다. 이번 시스템은 특정 제목이나 arXiv 식별자 검색은 물론, '코드 생성을 위한 소형 언어 모델'과 같은 의미 기반 검색과 오타, 불완전한 제목까지 고려하는 정교함을 갖췄다. 기존의 키워드 검색과 벡터 검색을 결합한 하이브리드 방식은 두 검색 방식의 장점을 모두 취해 성능을 최적화하며, 검색 정확도를 높이기 위해 리랭커(reranker)를 도입할 수 있다. 인프라 기반으로는 PostgreSQL의 전체 텍스트 검색 기능을 렉시컬 베이스라인으로 활용하고 있으며, 이를 통해 서비스가 일시적으로 중단되는 상황에서도 빠른 대응이 가능하다. ML6에서의 RAG 기반 시스템 개발 경험을 바탕으로 설계된 이번 시스템은 휴먼 유저뿐만 아니라 에이전트까지 효율적으로 연구 자료를 찾을 수 있도록 돕는다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.