참고TechCrunch
기업용 지출 관리 플랫폼 Ramp, AI 모델 라우터 'Router' 출시
다양한 모델을 벤치마크/비용 기준으로 자동 라우팅. API 비용 관리 및 모델 스위칭 자동화에 참고 가능.
요약
기업 비용 관리 플랫폼 Ramp가 다양한 거대 언어 모델(LLM)을 API로 통합하고 전환할 수 있게 해주는 AI 모델 라우팅 서비스 'Router'를 출시했다. 이 서비스는 OpenAI, Anthropic, DeepSeek, Nvidia, xAI 등 주요 기업의 모델을 지원하며, 사용자는 비용, 성능, 복잡도에 따라 모델을 선택하거나 특정 벤치마크 기반으로 자동 라우팅 전략을 설정할 수 있다. 2026년 말까지는 무료로 제공되며 26달러의 크레딧을 지원하지만, AI 모델 추론 비용은 별도로 부과된다. 대시보드를 통해 토큰 사용량, 비용, 응답 지연 시간(latency) 등을 상세히 모니터링할 수 있다. 현재 이 서비스는 미국에서만 이용 가능하며, 내년 이후의 요금 체계는 아직 공개되지 않았다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ramp launches its own AI model router, called Router
원문 보기 ↗