에이전트의 안정성 측정 벤치마크 'ThinkingBox' 공개

요약

마이크로소프트 연구진은 에이전트의 단일 작업 성공률이 반복 수행 시 얼마나 유지되는지 검증하기 위한 벤치마크 'ThinkingBox'를 공개했다. 이 벤치마크는 리테일, 여행, 자동차 보험 등 5개 도메인에 걸친 507개의 정책 조건부 비즈니스 워크플로우로 구성되어 있다. 각 모델은 동일한 초기 상태에서 20번씩 독립적으로 수행되어 총 10,140회의 시행을 거치며, 실제 백엔드 데이터베이스가 정확한 상태로 종료되는지를 평가한다. 시뮬레이션된 사용자는 개인 컨텍스트를 보유하며 요청 시에만 이를 공개하도록 설계되었다. 연구진은 에이전트가 단일 작업에서 성공했다는 사실이 반복적인 실행에서도 동일한 성공을 보장하는지, 작업 후 데이터베이스 상태가 정확한지 확인하는 데 초점을 맞췄다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.