Fable 500k 컨텍스트 사용 시 주의: 1회 요청당 5달러 발생 가능

요약

Claude 등 AI 모델에서 500k 컨텍스트 윈도우를 사용할 때 캐시되지 않은 프롬프트를 전송하면 요청 한 건당 5달러 이상의 비용이 발생할 수 있어 주의가 필요하다. 특히 장시간 세션을 비워두어 캐시가 만료된(Claude 1시간, Codex 30분) 후 다시 요청을 보낼 때 이러한 비용 문제가 자주 발생한다. 세션이 유휴 상태가 된 뒤 돌아와서 비용을 줄이겠다며 '/compact'를 실행하는 것은 오히려 추가 비용을 발생시키므로 피해야 한다. 가장 효율적인 비용 관리 방법은 자리를 비우기 전에 미리 '/compact'를 실행하는 것이다. 만약 이미 캐시가 만료되었다면 기존 세션을 유지하기보다 새로운 세션을 시작하고, 필요한 경우 이전 세션의 기록을 참조하게 하는 편이 경제적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.