참고팁X
OpenAI(오픈AI), 캐시 만료 시 비용 정책 개선... API 호출 비용 부담 대폭 완화
컨텍스트 캐시 만료 시 발생하던 비용이 크게 낮아짐. API 기반 서비스 운영 시 비용 최적화 전략 점검 필요.
요약
Codex의 캐시 정책이 변경되어 캐시가 만료되어도 캐시 미스(cache miss)가 발생하지 않게 되었다. 과거에는 475k 컨텍스트를 전체 사용하다 캐시 미스가 발생할 경우 메시지 전송 시 9.5달러의 비용이 발생했으나, 현재는 0.95달러로 비용이 10분의 1 수준으로 대폭 절감되었다. 구체적인 영구 캐시(perma cache) 구현 방식은 공개되지 않았으나, API 호출 비용 구조에 큰 변화가 생긴 것으로 보인다. 개발자는 향후 대규모 컨텍스트를 다룰 때 비용 효율성을 크게 개선할 수 있을 것으로 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @petergostev: In Codex you cannot miss cache if you let it expire. Before if you had full 475k context and you miss cache, it would cost you $9.
원문 보기 ↗