참고Reddit
개인용 프라이빗 GPU 클라우드 'ComputeNexa' 베타 공개
로컬 LLM 환경을 위한 프라이빗 GPU 클라우드 서비스 베타. 고성능 로컬 추론 시 대안이 될 수 있음.
요약
GPU 클라우드 서비스 ComputeNexa가 자체 하드웨어로 실행하기 어려운 32B~70B 규모의 거대언어모델(LLM)을 개인적으로 구동할 수 있는 베타 서비스를 시작했다. 사용자는 24~80GB GPU를 선택하여 별도의 SSH 설정 없이 브라우저 내에서 Ollama와 Open WebUI를 즉시 사용할 수 있다. 또한 vLLM을 기반으로 OpenAI와 호환되는 API 엔드포인트도 제공하여 API 형태로 모델을 활용하려는 사용자 요구도 지원한다. 현재 미국과 캐나다 지역에서 서비스를 제공하며, 할당된 GPU는 실행 시간 동안 사용자 단독으로 점유 가능하다. 클로즈 베타 테스트 신청자에게는 24GB GPU를 몇 시간가량 이용할 수 있는 5달러 상당의 크레딧이 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Running 32B–70B Ollama models when your own GPU is too small: looking for beta testers
원문 보기 ↗