참고X
Claude Opus 5, 공인회계사(CPA) 실무 벤치마크서 인간 완승
회계 등 전문 도메인에서 LLM의 실무 대체 가능성을 시사하는 사례. LLM 에이전트의 업무 수행 범위 벤치마크로 참고.
요약
AI 채용 플랫폼 Mercor가 평균 5.5년 경력의 공인회계사(CPA) 12명과 최신 AI 모델인 Claude Opus를 대상으로 4가지 회계 업무 수행 능력을 비교 테스트했다. 테스트 결과, 인간 회계사는 평균 37%의 정답률을 보인 반면, Claude Opus는 모든 시도에서 100%의 정확도를 기록했다. 소요 시간 측면에서도 인간은 과제당 30~180분이 걸린 데 비해 AI는 10분 이내에 완료했다. 불과 18개월 전만 해도 AI가 평균적인 회계사 수준에 미치지 못했던 것과 비교하면 비약적인 성능 향상이다. 이번 결과는 AI가 회계사의 보조 역할을 넘어 특정 전문 업무를 단독으로 완벽히 수행할 수 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: It's OVER for accountants? Look at these numbers. Mercor put 12 licensed CPAs, averaging 5.5 years of experience, up against front
원문 보기 ↗