Anthropic·앤드류 응, 컨텍스트 캐싱 활용한 토큰 사용량 90% 절감 워크플로우 공개

요약

Anthropic과 앤드류 응(Andrew Ng)이 프롬프트 캐싱(Prompt Caching) 기술을 활용해 토큰 사용량을 90% 이상 절감하는 에이전트 구축 방식을 공개했다. 10만 8,000토큰 분량의 '프랑켄슈타인' 전체 텍스트를 입력했을 때, 캐싱을 적용해 실제 처리 토큰을 11개로 대폭 줄였다. 핵심 원리는 변하지 않는 도구, 시스템 프롬프트, 문서를 상단에 배치하고 명확하게 구분하여 캐싱하는 것이다. 단, 공백 하나만 어긋나도 캐시가 깨지며 전체 비용이 청구되므로 정교한 관리가 필요하다. 캐시 유효 시간은 5분이며 읽기 작업 시마다 시간이 갱신되고, 캐시된 토큰은 속도 제한(Rate Limit)에 포함되지 않아 효율적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.