참고X
기업용 LLM 비용·에이전트 거버넌스 솔루션 'Token Custodian' 출시
AI 에이전트의 무한 루프 등 과도한 토큰 사용을 실시간으로 감지하고 예산을 관리할 수 있는 FinOps 도구.
요약
기업의 43%가 AI 도입의 비즈니스 가치를 증명하는 데 어려움을 겪고 있으며, 27%는 시스템 전반의 토큰 사용량을 추적하지 못하는 것으로 나타났다. Stacklet은 이러한 문제를 해결하기 위해 AI 에이전트의 토큰 사용을 실시간으로 관리하는 'Token Custodian'을 출시했다. 이 솔루션은 에이전트의 실행 단계, 런타임, 컨텍스트 증가를 제한하고 루프 오류 발생 시 자동으로 중단하며, 예산 사용률에 따라 더 저렴한 모델로 전환하는 기능을 제공한다. 클라우드 비용 거버넌스 분야의 노하우를 바탕으로 개발되었으며, 팀·프로젝트별 토큰 사용량 속성 지정 및 슬랙 알림 기능을 지원한다. 플랫폼 팀은 Git을 통해 정책을 코드로 관리할 수 있으며, 현재 조기 프리뷰 단계로 10월 27일 Token Governance Summit을 앞두고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: YOUR AGENT CAN RUN ALL NIGHT. YOUR BUDGET WILL NOT. 43% of enterprises struggle to prove AI's business value, while 27% cannot eve
원문 보기 ↗