주요 LLM 서비스별 프롬프트 캐싱 패턴 비교: Anthropic(앤트로픽)·Cursor(커서)의 높은 활용도

요약

주요 LLM 제공업체별 프롬프트 캐싱 패턴을 분석한 결과, Anthropic과 Cursor가 Google 모델보다 캐싱 토큰 사용량이 월등히 높은 것으로 나타났다. 프롬프트 캐싱은 이전에 처리한 입력을 재사용하는 기술로, 대규모 문맥을 반복 사용하는 에이전트 워크플로우 활용도를 보여주는 지표가 될 수 있다. 현재 업계는 캐싱된 토큰(dark green), 캐싱되지 않은 입력 토큰(grey), 모델 생성 출력 토큰(orange)으로 구분하여 사용량을 모니터링한다. 특히 에이전트 기반 AI 서비스가 늘어남에 따라 문맥 재사용 비중이 높은 Anthropic 및 Cursor 생태계가 두드러지는 추세다. 반면 Google 모델은 상대적으로 캐싱 활용도 측면에서 에이전트 워크플로우 수요를 따라가지 못하고 있다는 지적이 제기되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.