엔터프라이즈 AI 비용 관리의 핵심, 모델 라우팅 전략

요약

최근 기업들이 AI 사용량 제한을 설정하지 않아 과도한 비용이 발생하는 사례가 잇따르고 있다. 한 기업은 사용량 제한 설정 부재로 Claude에 한 달간 5억 달러를 지출했으며, Uber는 AI 사용량을 기준으로 팀 순위를 매기다 2026년 AI 코딩 예산을 4월에 이미 소진했다. 기업 내에서 고가의 엔터프라이즈 AI를 단순히 날씨 확인 같은 일상적인 작업에 사용하는 비효율적인 사례도 보고되었다. 이에 따라 마이크로소프트는 예산 초과를 이유로 개발자들의 Claude Code 라이선스 회수에 나섰다. Uber는 현재 일상적인 작업을 저렴한 모델로 라우팅하고 오픈 웨이트 모델을 테스트하는 방식으로 대응하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.