LiteLLM을 활용한 OpenWebUI 통합 비용 관리 방법

요약

Reddit의 r/LLMDevs 커뮤니티에서 LiteLLM을 사용하여 사용자의 월별 LLM 사용 예산을 통합 관리하려는 기술적 논의가 진행 중이다. 질문자는 사용자가 LiteLLM 내부 키와 OpenWebUI 접속을 통해 발생시킨 비용을 단일 사용자 예산으로 합산하여 추적하고 싶어 한다. 현재 LiteLLM 공식 가이드를 통해 OpenWebUI와의 연동 방법을 확인했으나, 이는 단순 태깅 기능에 불과할 뿐 실질적인 사용자별 예산 기반 지출 추적은 어렵다는 지적이 제기되었다. 예를 들어 사용자가 LiteLLM에서 15달러를 소비하고 OpenWebUI에서 나머지 5달러를 사용하는 방식의 통합적인 비용 관리가 가능한지 확인이 필요하다. 해당 기능을 구현하기 위한 실질적인 연동 방안이나 대안적인 트래킹 솔루션에 대한 커뮤니티의 기술적 조언이 요구되는 상황이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.