코히어, 'AI 총소유비용(TCO)' 개념 강조…모델 가격보다 운영 효율이 핵심

요약

코히어(Cohere)는 기업이 단순히 토큰 가격만으로 AI 비용을 판단하기보다는 인프라·GPU·데이터 저장·보안 비용까지 포함한 'AI 총소유비용' 관점에서 접근해야 한다고 지적했다. 레노버 자료에 따르면 가동률이 높을 경우 자체 H100 서버의 100만 토큰당 비용은 약 0.11달러로, 클라우드 인스턴스(약 0.89달러)나 프런티어 모델 API(약 2달러)보다 경제적일 수 있다. 반면 SAP나 서비스나우 등 글로벌 SaaS 기업들은 애플리케이션 내 AI 에이전트를 통합해 별도 인프라 없이도 업무 자동화를 지원하는 전략을 강화하고 있다. 코히어는 SaaS에 AI 운영이 집중될 경우 가격 인상이나 플랫폼 종속 리스크가 커질 수 있다고 경고하며, 기업이 데이터와 모델 배포 환경을 직접 통제하는 프라이빗 AI 모델을 비용 절감 및 통제권 확보의 대안으로 제시했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.