참고팁Reddit
OpenAI(오픈AI) API: 12시간 프롬프트 캐싱 활용 최적화 가이드
동일한 컨텍스트를 반복 사용하는 워크플로우에서 12시간 캐싱 옵션을 통해 비용 효율을 극대화하는 방법.
요약
OpenAI의 프롬프트 캐싱 기능에 12시간 설정 옵션이 도입되었습니다. 사용자는 기존의 30분 기본값과 새로운 12시간 설정 중 선택하거나, 공통 지침에는 12시간, 최신 대화 내용에는 30분을 혼합하여 요청할 수 있습니다. 하루 동안 동일한 컨텍스트를 반복적으로 사용해야 하는 경우, 12시간 캐싱을 통해 반복 비용을 절감하는 효율적인 운영이 가능합니다. 이번 업데이트는 프롬프트 재사용 빈도가 높은 실무 환경에서 비용 최적화에 큰 도움을 줄 것으로 기대됩니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 12 hour prompt coaching
원문 보기 ↗