참고팁Reddit
로컬 LLM을 여러 PC에서 분산 구동하는 P2P 네트워크 'DaiHive'
단일 고성능 GPU 없이도 여러 PC를 묶어 대형 모델을 실행할 수 있는 분산 추론 도구입니다. 오피스 내 유휴 자원 활용 시 유용합니다.
요약
DaiHive(daihive.eu)는 여러 대의 PC를 P2P 네트워크로 연결하여 거대 언어 모델(LLM)을 분산 실행할 수 있게 해주는 새로운 플랫폼입니다. 개별 기기 사양이 부족하더라도 모델을 여러 작업자 기기에 나누어 구동함으로써 하나의 강력한 기기처럼 프롬프트를 처리할 수 있습니다. 특히 공용 네트워크 외에도 사무실 내 PC들을 묶어 외부와 격리된 프라이빗 팀 모드를 구축할 수 있어 보안이 필요한 환경에서도 활용 가능합니다. 현재 베타 단계로 워커와 UI가 활발히 업데이트되고 있으며, 지원하는 모델군은 아직 제한적이지만 실제 구동이 가능한 수준입니다. 고성능 하드웨어 없이도 대규모 모델을 로컬 환경에서 운영하고자 하는 실무자들에게 유용한 대안이 될 것으로 보입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 P2P network for running local LLMs across multiple machines
원문 보기 ↗