Surge AI, 전문 세무 자문 에이전트 평가용 'Dayjob: Tax' 벤치마크 공개

요약

Surge AI는 전문적인 세무 업무에 대한 AI 에이전트의 성능을 평가하는 벤치마크인 'DAYJOB: Tax'를 공개했다. 이는 의료 및 금융 분야에 이어 세 번째로 출시된 벤치마크로, 세무 준비, 규정 준수, 자문 서비스 등 전문적인 판단력이 필요한 50개의 세무 과제로 구성되어 있다. 실제 사례로 주택 양도세 감면 조건을 평가할 때, 모델 Astra는 관련 마감 기한을 식별하지 못한 반면 Opus는 5회 모두 정확히 파악하는 등 모델별 성능 차이가 확인되었다. 이처럼 DAYJOB: Tax는 단순히 지시사항을 이행하는 것을 넘어, 고객이 미처 인지하지 못한 잠재적 위험까지 고려하는 AI의 전문적 판단 능력을 측정한다. AI 에이전트가 복잡한 전문 지식과 불완전한 지시사항 속에서 얼마나 정확한 의사결정을 내릴 수 있는지 검증하는 것이 이번 평가의 핵심이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.