AI 리서치 에이전트, 복합 정보 조사 벤치마크서 한계 노출

요약

퍼플렉시티 리서치는 14일 대규모 정보 조사 업무에서 AI 에이전트의 성능을 측정하는 벤치마크 'WANDR'을 발표했다. 500개 업무 과제를 통해 평가한 결과, AI는 조사 범위가 넓어질수록 누락이 증가하고 근거가 부족해지는 등 정보 완결성에 뚜렷한 한계를 보였다. 가장 높은 점수를 기록한 퍼플렉시티의 '서치 애즈 코드'조차 하드 점수 기준 모든 조건을 충족한 결과는 약 7개 중 1개 수준에 그쳤다. 특히 조사 대상이 많아지거나 검증 단계가 복잡해질수록 하드 정밀도와 재현율이 급격히 낮아지는 경향이 확인됐다. 제출된 페이지의 최대 68.3%가 세부 요건을 충족하지 못했고, 인용문이 주장 전체를 뒷받침하지 못한 비율도 최대 86.6%에 달했다. 따라서 기업 실사나 시장 분석처럼 정보 완결성이 중요한 업무에서는 AI 활용 시 별도의 검증 절차가 필수적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.