참고X
딥노트(Deepnote), 에이전트의 선제적 상황 판단력 벤치마크 공개
에이전트의 실무 수행 능력과 모델별 비용 효율성을 비교. 에이전트 기반 서비스 개발 및 예산 수립 시 참고 데이터로 활용.
요약
딥노트(Deepnote) 연구진은 기존 LLM 리더보드가 측정하지 못하는 에이전트의 상황 판단 능력을 평가하기 위해 'Agent Initiative Benchmark'를 출시했습니다. 이 벤치마크는 6년치 기록과 10GB 데이터를 포함한 가상 기업 'PageMantle' 환경에서 12개 모델의 실무 대응력을 테스트합니다. 분석 결과, 상시 작동하는 에이전트의 작업당 비용 편차가 매우 컸으며, GPT-6 Luna(0.007달러)와 Claude Fable 5.1(3.02달러)은 성능 차이는 1.1점에 불과하나 비용은 430배까지 벌어졌습니다. 70명 규모의 슬랙(Slack) 채널을 한 달간 모니터링할 경우, Sol 6.1은 281달러가 소요되는 반면 Fable 5.2는 4,684달러가 발생하는 등 에이전트 도입 시 비용 효율성을 고려한 모델 선택이 중요해졌습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ai_for_success: Most model leaderboards test how well an LLM answers when prompted, not whether an always-on agent sitting in your team Slack know
원문 보기 ↗