참고팁X
Uber(우버)의 에이전트 인프라 최적화 전략: 토큰 절감 및 효율화 노하우
에이전트 구축 시 토큰 압축, 하위 에이전트 분리, 도구 호출 최적화 등 실무적 아키텍처 가이드.
요약
Uber는 자사 풀 리퀘스트의 70%를 처리하는 AI 에이전트 운영 방식을 공개했다. 해당 시스템 도입 이후 주간 활성 사용자 수는 7배 증가했으나, 세션당 비용은 오히려 52% 절감하는 성과를 거뒀다. 주요 효율화 전략으로는 400K 토큰 단위의 자동 압축(Auto compaction), 기본 추론 강도를 'Medium'으로 설정, 저가형 모델을 활용한 하위 에이전트 운영 등이 있다. 또한 1시간으로 설정된 프롬프트 캐시 유지와 필요한 시점에만 MCP 도구를 호출하는 방식을 통해 토큰 비용을 최소화했다. 특히 도구 호출을 하나의 스크립트로 배치 처리함으로써 소규모 쿼리에서도 토큰 사용량을 55~71%까지 줄일 수 있었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: Uber shared the exact agent setup behind 70% of their pull requests. Weekly users grew 7x, and cost per session still fell 52%. He
원문 보기 ↗