참고Reddit
오픈소스 API 게이트웨이 'Conifer' 공개
API 호출 비용 절감과 서버 이중화를 위한 오픈소스 라우팅 게이트웨이. BYOK 및 자체 호스팅 지원.
요약
Reddit의 r/LLMDevs 커뮤니티에서 오픈소스 LLM 게이트웨이 프로젝트인 'Conifer(https://github.com/ConiferKit/use-conifer)'가 공개되었습니다. 기존 유료 서비스들이 BYOK(Bring Your Own Key) 사용 시 5%의 추가 수수료를 부과하거나 무거운 파이썬 패키지 의존성을 요구하는 문제를 해결하기 위해 개발되었습니다. Conifer는 100개 이상의 모델을 단일 API 엔드포인트로 제공하며, BYOK 사용 시 무료이고 시장가 수준의 가격으로 운영됩니다. 또한, 서버 이중화, 폴백 기능, 추가적인 속도 제한 설정을 지원하며 자체 호스팅 환경과도 쉽게 연동할 수 있습니다. 개발자는 약 3개월간 프로젝트를 구축했으며, 현재 원활한 유지보수를 위한 기여자와 피드백을 모집하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Opensource Openrouter
원문 보기 ↗