"추론 토큰" 과금 방식, Gemini·OpenAI·Anthropic이 제각각

요약

최근 LLM 개발자 커뮤니티에서는 각 모델 제공사별로 상이한 '사고 토큰(thinking tokens)' 과금 방식을 두고 혼란이 제기되었습니다. Gemini-1.5-flash 모델을 테스트한 결과, 총 토큰 수는 '프롬프트 + 출력 + 사고 토큰'의 합으로 계산되어 사고 토큰이 별도로 과금되는 구조를 확인했습니다. 반면 OpenAI는 사고 토큰(reasoning_tokens)이 완료 토큰(completion_tokens)에 포함된 구조로, 이를 별도로 더할 경우 이중 계산되는 문제가 발생합니다. Anthropic의 경우 사고 토큰을 별도로 보고하지 않고 출력 토큰(output_tokens)에 통합하여 제공합니다. 각 LLM 제공사마다 사고 토큰을 처리하는 기준이 서로 달라 비용 산정 시 개발자의 각별한 주의가 요구됩니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.