에이전트 실무 해결 능력 측정 벤치마크 'FDE-Gym' 공개

요약

AI 에이전트가 실제 고객 환경에서 모호한 요구사항을 명확히 하고 잠재된 제약을 해결하는 능력을 평가하기 위한 벤치마크 FDE-Gym이 공개되었다. FDE-Gym은 18개 분야 20개 고객 시나리오에서 추출한 95개의 엔드투엔드 프로젝트로 구성되며, AI 에이전트가 이해관계자와 소통하고 프로덕션 환경과 유사한 시스템을 직접 조작해 비즈니스 성과를 개선하는 과정을 평가한다. 평가 지표는 고객의 성공 지표 개선 정도를 0에서 1 사이로 정규화하며, 이해관계자와의 소통 비용을 패널티로 부과한다. 13개 모델을 테스트한 결과, 최고의 모델조차 95개 과제 중 14개만 성공적으로 해결했으며 평균 점수는 0.56에 그쳐 실질적인 비즈니스 가치 창출에 한계를 보였다. 연구진은 모델이 명시되지 않은 제약을 발견하는 데 어려움을 겪고 있으며, 단순히 정보를 수집하는 것만으로는 실제 고객의 요구를 만족시키기 어렵다는 점을 시사했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.