중요팁X
OpenAI(오픈AI) API, 12시간 프롬프트 캐싱 옵션 추가
공유 지시·툴·컨텍스트를 몇 시간 간격에도 저가 캐시율로 재사용. 상시 가동 에이전트 비용 절감 검토.
요약
OpenAI API에서 이제 프롬프트 캐싱(Prompt Caching) 기간을 최대 12시간까지 설정할 수 있게 되었다. 이번 업데이트로 dots와 같은 지속적인 에이전트(Persistent Agents)는 하루 동안 컨텍스트를 재사용하는 것이 가능해졌다. 사용자는 공유 지침, 도구, 컨텍스트를 더 긴 시간 동안 캐시된 상태로 유지할 수 있다. 요청 간격이 몇 시간씩 발생하더라도 낮은 캐시 입력 요금이 적용되어 비용 효율적인 운영이 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @OpenAIDevs: You can now choose 12-hour prompt caching in the API. Persistent agents, like dots, reuse context throughout the day. You can keep
원문 보기 ↗