중요X
OpenAI, GPT-6 API 프롬프트 캐싱 개선…캐시 적중률 높여 입력 비용 최대 90% 절감
기본 캐시 적중률 상승으로 반복 컨텍스트 많은 에이전트 서비스는 별도 튜닝 없이 비용·지연 개선 기대.
요약
OpenAI가 GPT-6 API의 프롬프트 캐싱(prompt caching) 기능을 개선했다. 이번 업데이트를 통해 에이전트 구동 속도가 향상되고 운영 비용이 절감되는 효과를 기대할 수 있다. 기본 캐시 적중률(cache-hit rates)이 높아짐에 따라 더 많은 입력 토큰에 대해 캐시된 입력 할인 혜택이 적용된다. 이를 통해 최대 90%까지 비용 절감이 가능하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @OpenAIDevs: We’ve improved prompt caching in the API for GPT-6, helping agents run faster and cost less. Higher cache-hit rates by default mea
원문 보기 ↗