참고X
에이전트 'Sai', OSWorld 2.0 벤치마크 1위 기록…Claude Computer Use 대비 비용 효율성 강조
컴퓨터 제어 에이전트의 성능 및 비용 비교 지표를 제공. 실제 실무 환경에서 에이전트 도입 시 고려할 벤치마크.
요약
SimularAI의 모델 애그노스틱 컴퓨터 사용 에이전트인 'Sai'가 OSWorld 2.0 벤치마크에서 부분 성공률 79.38%를 기록하며 1위를 차지했습니다. 이번 성과는 대형 연구소들의 모델을 제치고 실제 데스크톱 환경에서 달성한 결과로, 자율 컴퓨터 실행을 위한 신뢰성 있고 비용 효율적인 새로운 접근 방식을 제시합니다. 특히 작업당 비용 측면에서 Sai는 14.34달러를 기록해, 24.11달러가 소요되는 Anthropic의 Claude Computer Use(Opus 5)보다 높은 가격 경쟁력을 입증했습니다. Sai는 특정 모델에 종속되지 않는 범용성을 바탕으로 컴퓨터 사용 자동화 시장에서 주목받고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @SimularAI: It’s official 🏆 Sai is on OSWorld 2.0! @sai_borg, our model-agnostic computer-use agent, is #1 in partial success rate (79.38%) a
원문 보기 ↗