참고팁Reddit
PCIe 레인 제한 환경에서 3개 모델 동시 서빙: '프랑켄슈타인' 로컬 클러스터 구축 사례
RX 580/570 등 파편화된 GPU 환경에서도 Slipstream 엔진을 통해 효율적인 로컬 LLM 서빙 구현.
요약
Reddit 사용자 lvgale은 서로 다른 제조사와 사양의 GPU 4개를 혼합 구성하여 27B, 9B, 2B 파라미터 LLM을 동시에 구동하는 환경을 구축했다. Intel Core i7-6700K CPU와 AMD RX 580, RX 570, NVIDIA GTX 1660 Super, GTX 1070 GPU를 결합했으며, 일부는 PCIe x1 및 x2 슬롯에 장착되어 대역폭 제약이 극심한 환경이다. 이를 효율적으로 관리하기 위해 Nuitka로 컴파일된 맞춤형 파이썬 오케스트레이션 엔진인 'Slipstream'을 자체 개발해 사용했다. 해당 시스템은 서로 다른 아키텍처를 통합하기 위해 Vulkan 백엔드와 Flash Attention을 활성화하여 안정적인 추론을 구현했다. 이는 하드웨어 제약이 큰 환경에서도 최적화 소프트웨어를 통해 복수의 LLM을 동시에 서비스할 수 있음을 입증하는 사례로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 🌋 Pushing PCIe x1 to the limit: lvgale concurrently serving 27B, 9B, and 2B LLMs on a hardware abomination 📈
원문 보기 ↗