OpenAI, GPT-6 프롬프트 캐싱 강화…"비용 90% 절감·속도 향상"

요약

오픈AI가 장시간 작동하는 AI 에이전트의 효율성을 높이기 위해 GPT-6 제품군에 프롬프트 캐싱 기능을 대폭 강화했다. 지난 22일(현지시간) 공개된 이 시스템은 반복되는 컨텍스트를 재사용해 코드 리팩터링이나 대규모 문서 작업 등 API 요청이 잦은 업무에서 응답 속도를 향상시킨다. 특히 반복되는 지침과 도구 정의, 대화 맥락을 다시 처리하지 않음으로써 비용을 최대 90%까지 절감할 수 있는 것이 핵심이다. 이번 업데이트는 지속형 에이전트가 보다 방대한 데이터를 처리하면서도 경제적인 운영이 가능하도록 지원한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.