캐싱 효율 고려한 모델별 실질 토큰당 비용 분석

요약

한 LLM 게이트웨이 개발자가 실제 코딩 트래픽을 바탕으로 앤스로픽(Anthropic) 모델들의 실제 토큰당 비용을 측정한 결과, Sonnet 3.5는 100만 토큰당 0.26달러, Fable 5.1은 0.69달러, Opus 3.5는 0.72달러로 나타났다. 특히 Opus와 Fable의 경우 정가 차이에도 불구하고 실제 비용은 0.03달러 차이에 불과했는데, 이는 캐싱(caching) 효율 차이 때문인 것으로 분석된다. 해당 개발자는 단순히 공식 가격표를 비교하는 것보다 실제 사용 데이터를 기반으로 산출된 효과적 비용을 확인하는 것이 중요하다고 강조했다. 참고로 앤스로픽과 오픈AI는 캐싱 방식에 차이가 있으며, 오픈AI는 1024 토큰 이상부터 자동으로 캐싱을 적용하고 쓰기 비용을 부과하지 않는다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.