참고X
구독 플랜별 실제 사용량 추적 서비스 'UsageBench' 등장
기업들의 AI 구독 모델 한도 축소 이슈에 대응하여 실제 체감 성능과 API 사용량을 객관적으로 비교하려는 움직임.
요약
AI 벤치마크 플랫폼 BridgeBench가 유료 구독 서비스의 실제 사용량을 측정하는 'UsageBench'를 새롭게 공개했습니다. UsageBench는 AI 기업이 구독 상품의 이용 한도를 변경하거나 기능을 축소하는 행위(러그 풀)를 실시간으로 모니터링하여 투명하게 보여줍니다. 첫날 사용량을 100% 기준으로 설정한 뒤, 동일한 가격과 플랜을 유지하며 5시간 단위 및 주간 한도 변화를 주기적으로 재테스트합니다. 현재 Claude Max 20x와 ChatGPT Pro를 대상으로 측정을 시작했으며, OpenAI의 프로 플랜 변경 사항에 대한 베이스라인도 이미 확보한 상태입니다. 향후 추가로 추적할 구독 플랜에 대한 사용자 피드백을 수렴하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @bridgemindai: Introducing UsageBench on BridgeBench. If an AI lab ever rug pulls your subscription, you will see it here. Day one is 100%. Then
원문 보기 ↗