참고X
RouteLLM API 공개... 프롬프트 기반 맞춤형 라우팅 API
150개 이상 모델을 지원하며 프롬프트별 최적의 모델 라우팅 가능. API 비용 및 효율 최적화에 활용.
요약
RouteLLM API가 프롬프트에 따라 최적의 모델로 라우팅해주는 새로운 기능을 공개했다. 150개 이상의 AI 모델을 지원하며, 사용자는 자신의 선호에 맞는 모델을 자유롭게 선택할 수 있다. 자체 커스텀 라우터 생성이 가능하고 캐싱 기능을 제공하여 처리 속도와 비용 효율성을 높였다. 내일부터 OxAlpha를 통해 정식 서비스될 예정이며, Claude나 Codex 등 다양한 환경에서 연동해 사용할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @bindureddy: 🚨 RouteLLM API - An API that routes to your favorite models based on your prompt - create custom routers - OxAlpha serving tomorr
원문 보기 ↗