로컬 LLM 구동을 위한 200만 원대 40GB VRAM 서버 구축기

요약

한 레딧 사용자가 약 2,000달러의 예산으로 40GB VRAM을 갖춘 로컬 LLM 홈 서버를 구축한 사례를 공유했다. 시스템은 20GB 용량의 RTX 3080 2개와 i9 10900X CPU, X299 WS Sage 메인보드, 64GB DDR4 RAM 등으로 구성되었다. 특히 GPU는 알리바바를 통해 개당 650달러, 총 1,300달러에 확보했으며, 쿨링과 소음 이슈가 다소 있지만 가성비를 확보했다. 현재 이 서버에서 Qwen2.5-27b 모델을 4비트 양자화 및 180k 컨텍스트 설정으로 구동하여 초당 39토큰(39t/s)의 속도를 기록하고 있다. 향후 메인보드와 CPU의 확장성을 활용해 GPU 2개를 추가 장착하여 성능을 더 높일 계획이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.