참고팁Reddit
API 비용 절감을 위한 시스템 프롬프트 토큰 분석 도구 'tokensaver' 공개
시스템 프롬프트와 도구 정의가 차지하는 토큰 비중을 시각화하여 API 호출 비용 효율을 최적화할 수 있습니다.
요약
AI 개발자가 LLM API 호출 시 시스템 프롬프트와 도구 정의가 차지하는 토큰 비중을 즉각적으로 확인할 수 있는 도구 'tokensaver'가 공개되었다. 사용자는 'pip install prompt-tokensaver'를 통해 설치 후, 시스템 프롬프트(system.md)와 도구 정의(tools.json), 사용자 메시지를 입력하여 각 요소별 토큰 사용량과 1,000회 호출당 비용을 분석할 수 있다. 이 도구는 OpenAI와 Anthropic의 도구 JSON 형식 및 전체 요청 본문을 지원하며, 분석 결과는 CI 환경에서도 활용 가능하도록 JSON 출력 기능을 제공한다. 실제 테스트 결과, 일부 지원 봇 시스템에서 시스템 프롬프트와 도구 설정이 전체 요청의 98~99%를 차지하는 비효율적인 사례가 확인되었다. 해당 프로젝트는 MIT 라이선스를 따르는 오프라인 도구로, 자세한 내용은 GitHub 저장소에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Quick way to see how much of each API call is your system prompt and tools
원문 보기 ↗