중요팁X
OpenAI(오픈AI) Responses API, 프롬프트 캐시 보존 시간 12시간으로 확대
장시간 에이전트의 반복 입력 비용 대폭 절감. 3회 이상 재사용 워크로드라면 캐시 적극 활용 가치.
요약
OpenAI가 Responses API의 프롬프트 캐시(Prompt Cache) 유지 시간을 기존 30분에서 12시간으로 대폭 확대하며, 장시간 실행되는 AI 에이전트의 운영 비용을 크게 낮췄다. 캐시된 입력 비용은 모델에 따라 10~20배 저렴하며, 매시간 실행되는 에이전트의 경우 비용을 약 75%까지 절감할 수 있다. Codex 및 Work의 경우 캐시를 영구적으로 보존하여 이전 대화 흐름을 바로 이어갈 수 있게 개선되었다. 다만 캐시는 프롬프트의 시작 부분이 일치해야 적용되므로, 시스템 지시사항, 도구, 문서 등을 상단에 고정하고 사용자 정보 등 변동성이 큰 데이터는 하단에 배치하는 구조 설계가 필수적이다. 비용 효율을 극대화하려면 프롬프트의 첫 단어 하나라도 바뀌지 않도록 순서를 최적화하는 전략이 요구된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @godofprompt: OpenAI just made long-running AI agents a lot cheaper. As of yesterday, the Responses API can keep your prompt cache for 12 hours.
원문 보기 ↗