참고X
알리바바 Qwen, 이커머스 자율 에이전트 성능 측정 벤치마크 공개
이커머스 환경에서 에이전트의 장기 계획 및 수행 능력을 테스트할 수 있는 새로운 지표 제공.
요약
Alibaba Qwen은 장기적인 자율 비즈니스 운영을 평가하기 위한 새로운 벤치마크인 'E-Commerce Bench'를 공개했다. 에이전트는 ¥100,000의 자본금으로 365일간 온라인 스토어를 운영하며 상품 소싱, 협상, 가격 책정, 프로모션, 재고 및 현금 흐름 관리를 수행한다. 실제 이커머스 데이터를 기반으로 6,886개의 제품, 576개의 공급업체, 600분의 업무 시간, 창고 비용, 반품 및 평판 요소가 포함되어 실제 시장 경제를 반영한다. 테스트 결과, 거의 모든 모델이 운영 기간 동안 구매가를 낮추거나 전략을 개선하는 데 어려움을 겪었으며, 7가지 축으로 평가했을 때 모든 분야를 압도하는 단일 모델은 존재하지 않았다. 이번 벤치마크는 긴 호흡의 학습이 필요한 자율 에이전트 개발에 중요한 평가 지표를 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Alibaba_Qwen: Meet E-Commerce Bench, a new benchmark for long-horizon autonomous business operations. 🚀 Agents start with ¥100,000 to run onlin
원문 보기 ↗