참고팁Reddit
Ollama용 자체 호스팅 인증 게이트웨이 'ollama-gateway' 출시
Ollama 서버에 API 키 기반 인증과 사용량 제한을 추가하여 안전한 공유 및 모니터링 환경을 구축할 수 있음.
요약
Ollama의 인증 부재 문제를 해결하기 위해 자체 호스팅이 가능한 오픈소스 'ollama-gateway'가 출시되었습니다. 이 게이트웨이는 클라이언트별 API 키 발급 및 IP/CIDR 기반 접근 제어를 지원하여 무단 GPU 자원 사용을 방지합니다. 사용자는 월별 토큰 제한, 속도 제한, 비용 기반의 평생 체험판 설정 등 정교한 할당량 관리가 가능합니다. 또한 여러 Ollama 서버를 연결하여 실패 시 자동 전환을 지원하는 라우팅 기능과 클라이언트별 모델 및 API 허용 목록을 제공합니다. 모든 요청은 로깅 및 모니터링되어 API 사용 현황을 투명하게 추적할 수 있으며 관리자 권한이 필요한 모델 호출은 차단됩니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built a self-hosted auth gateway for Ollama: per-client API keys, quotas, multi-server routing and usage monitoring (source-available)
원문 보기 ↗