셀프 호스팅 LLM 게이트웨이 'Routerly 0.6.0' 출시

요약

자체 호스팅이 가능한 LLM 게이트웨이 'Routerly'가 버전 0.6.0을 새롭게 공개했다. 이 도구는 애플리케이션과 LLM 제공업체 사이에 위치하여 비용, 지연 시간, 의미론적 의도 등에 따라 경로를 설정하는 정책 기반 라우팅을 지원한다. 사용자는 OpenAI 및 Anthropic 호환 클라이언트를 Routerly에 연결해 여러 모델을 효율적으로 관리하고 애플리케이션별 예산을 설정할 수 있다. 이번 업데이트를 통해 테스트 탭이 추가되었으며, 세션·사용자·태그별 사용량 필터링과 모델 타임아웃 설정 기능이 강화되었다. 모든 요청에 대한 토큰 사용량, 지연 시간, 비용 데이터가 기록되어 인프라 내부에서 모델 호출을 투명하게 추적할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.