OpenAI(오픈AI) API 프롬프트 캐싱 최적화 가이드

요약

OpenAI가 API에 12시간 프롬프트 캐싱(Prompt Caching) 기능을 도입하여, 공통된 지침, 도구, 컨텍스트를 저렴한 캐시 입력 요금으로 재사용할 수 있게 됐다. 캐시는 첫 번째 토큰부터 동일한 접두사가 일치할 때만 작동하므로, 날짜나 사용자 이름 같은 가변적인 데이터는 프롬프트의 가장 마지막에 배치하는 것이 비용 절감에 유리하다. 캐시 적중 여부는 API 응답의 usage 상세 정보에 포함된 cached_tokens 항목을 통해 확인할 수 있으며, 두 번째 요청에서 해당 값이 0이라면 프롬프트 상단이 변경되고 있다는 신호다. 12시간 캐시 유지 기능은 하루 종일 동일한 컨텍스트를 반복 사용하는 지속형 에이전트 구축에 최적화되어 있다. Codex와 Work 제품의 경우 로그인 사용자는 시간 제한 없이 캐시를 유지할 수 있어 과거 대화 재개 시 비용 패널티가 없다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.