참고X
Perplexity, RAG 시스템 성능 평가용 'Q2D-Web' 벤치마크 공개
임베딩 모델과 에이전트 기반 RAG 시스템의 검색 성능을 객관적으로 측정할 수 있는 지표가 추가됨.
요약
Perplexity AI가 에이전트형 RAG 시스템의 검색 성능을 평가하기 위한 새로운 벤치마크 및 공개 리더보드인 'Q2D-Web(Query2Doc-Web)'을 공개했다. Q2D-Web은 에이전트가 재구성한 검색 쿼리를 사용하여 대규모 웹 검색 환경에서 임베딩 모델의 검색 정확도와 성능을 측정한다. 이번 벤치마크는 에이전트가 복잡한 질문을 해결하기 위해 쿼리를 최적화하는 과정을 반영하여 실제 검색 환경에 가까운 평가를 제공한다. 개발자와 연구자들은 공개 리더보드를 통해 다양한 임베딩 모델의 효율성을 비교하고, RAG 시스템의 검색 품질 향상을 위한 인사이트를 얻을 수 있다. 자세한 내용은 공식 웹사이트를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @perplexity_ai: We're introducing Q2D-Web (Query2Doc-Web), a benchmark and public leaderboard for evaluating retrieval in agentic RAG systems. Q2D
원문 보기 ↗