LLM 에이전트 비용 절감 데이터 분석: 입력 토큰의 83%는 캐시 활용 가능

요약

API 게이트웨이 플랫폼의 40,600건의 에이전트 호출 데이터를 분석한 결과, 전체 토큰 40.4억 개 중 83%인 33.5억 개가 캐시 읽기(cache read)로 처리되었다. 특정 내부 에이전트 사례에서는 호출당 39만 7,000개의 입력 토큰 중 99.5%가 캐시 적중(cache hit)으로 나타났다. 이는 에이전트가 매 턴마다 동일한 시스템 프롬프트와 도구 스키마를 반복적으로 읽기 때문에 발생하는 현상이다. 결과적으로 모델 선택보다 고정된 프리픽스(prefix) 유지 여부가 비용 절감에 더 큰 영향을 미친다. 실제로 DeepSeek V4.1 Flash 모델의 경우 캐시를 활용하면 100만 토큰당 0.0059달러의 비용으로 운영이 가능하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.