LLM API 비용 추적 시스템 구축 팁: 모델명 별칭(Alias) 활용과 오류 방지

요약

LLM API 사용량과 비용을 모델, 기능, 고객별로 추적하는 도구를 개발하는 과정에서 모델명 불일치로 인한 데이터 누락 문제가 발생했다. provider가 'gemini'로 전송되었으나 내부 가격 테이블에는 'google'로 저장되어 있어 조회 실패 시 비용이 0원으로 계산되고 기록조차 남지 않았다. 이러한 0원 처리는 사용자가 무료 요청으로 오인하게 만들어, 실제 청구서와 데이터 간의 불일치를 유발한다. 이를 해결하기 위해 'gemini'를 'google'로, 'claude'를 'anthropic'으로 매핑하는 명시적 별칭(alias) 리스트를 도입했다. 또한 알 수 없는 모델은 비용을 0원이 아닌 '가격 미책정(unpriced)' 상태로 표시하여 추적을 강화했다. 모델명 매칭은 퍼지 로직을 배제하고 gpt-4o와 같이 명확한 접두사를 기준으로 엄격하게 처리한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.