삼쩜삼, AI 에이전트 통합 플랫폼 '카터' 도입…운영 비용 45% 절감 비결

요약

자비스앤빌런즈가 자체 AI 에이전트 통합 관리 플랫폼 ‘카터(Carter)’를 구축해 AI 운영 비용을 최대 45% 절감했다. 카터는 사내 AI 개발과 운영을 통합 관리하며, 공통 라이브러리와 인프라를 통해 중복 개발을 방지하고 보안 및 개인정보 보호 기능을 제공한다. 현재 ‘삼쩜삼Q’와 앱 내 AI 에이전트 등 총 8개의 에이전트를 운영 중이다. 비용 효율화를 위해 의도 분류 등 보조 호출을 경량 모델로 처리하는 ‘모델 티어링(Model Tiering)’을 적용해 전체 호출의 약 50%를 경량 모델로 대체하고 LLM 호출 비용을 45% 낮췄다. 또한 ‘프롬프트 캐싱(Prompt Caching)’을 통해 호출 비용을 추가로 43% 절감하고, 중앙 관제를 통해 보안성과 서비스 안정성을 확보했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.