참고Reddit
브라우저 기반 분산 추론 도구 'ClusterChat' 공개: 저사양 환경에서 LLM 공동 구동
WebGPU와 WebRTC를 활용해 여러 사용자의 GPU 자원을 연결, 단일 기기로는 실행이 어려운 대형 모델을 웹에서 구동할 수 있습니다.
요약
ClusterChat은 여러 사용자의 소비자용 GPU 자원을 결합해 대형 언어 모델(LLM)을 구동할 수 있게 해주는 오픈소스 분산 플랫폼입니다. 모델을 블록 단위로 분할하여 개별 기기로는 실행하기 어려운 모델을 여러 사용자가 협력해 호스팅할 수 있습니다. 별도의 설치 과정 없이 웹 브라우저 내에서 WebGPU와 WebRTC 기술을 활용해 작동하므로 즉시 접속이 가능합니다. 개발자는 실제로 Qwen3.8-27B(q8) 모델을 RTX 3090과 GTX 1070 Ti GPU 두 대에 나누어 실행하는 데 성공했습니다. 각 GPU는 여러 대화 세션에 대한 개별 KV 캐시를 유지하여 다중 사용자가 동시에 서비스를 이용할 수 있도록 설계되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I made a distributed chatbot that runs a 27B model across consumer GPUs, entirely in the browser (open source)
원문 보기 ↗