API 비용 절감: 요청 난이도에 따른 모델 자동 라우팅 로컬 프록시 설계

요약

AI 에이전트 사용 시 단순 질의응답에도 고성능 모델 비용이 청구되는 비효율을 해결하기 위해, 요청 난이도에 따라 모델을 자동 라우팅하는 로컬 프록시가 개발되었습니다. 이 프록시는 OpenAI API와 호환되어 기본 URL 변경만으로 즉시 적용 가능하며, 로컬에서 휴리스틱 기반으로 요청을 분류합니다. 단순 핑이나 확인 요청은 가장 저렴한 모델로, 일반 채팅은 중간급 모델, 코드 및 복잡한 분석 작업은 Sonnet이나 Opus급 모델로 각각 동적 할당합니다. 또한 하위 모델에서 오류 발생 시 안전한 범위 내에서 한 단계 높은 모델로 자동 재시도하는 기능을 포함하고 있습니다. 별도의 LLM 호출이나 외부 원격 측정 없이 localhost 환경에서 작동하여 효율적인 비용 관리가 가능합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.