참고팁Reddit
128GB VRAM 로컬 LLM 워크스테이션 구축 사례: RTX Pro 6000 + 5090
고용량 VRAM이 필요한 로컬 LLM 추론 환경을 구성하려는 엔지니어에게 참고할만한 하드웨어 조합.
요약
최근 한 레딧 사용자가 AMD Ryzen 9 9950X CPU와 총 128GB VRAM을 갖춘 로컬 LLM 구동용 고사양 워크스테이션을 구축해 화제다. 이 빌드는 NVIDIA RTX Pro 6000(96GB)과 RTX 5090(32GB) GPU를 함께 탑재하여 대규모 모델 연산에 최적화된 환경을 구현했다. 시스템은 ASRock X870 Taichi 메인보드와 96GB DDR5 RAM, 1600W급 MSI MPG Ai1600TS 파워서플라이로 구성되었다. 냉각을 위해 ID-COOLING 360mm AIO와 Phanteks T30 팬을 사용했으며 Lian Li O11 Dynamic EVO RGB 케이스에 장착했다. 사용자는 기존 게이밍 PC에서 사용하던 RTX 5090을 이번 빌드로 옮기고, 남은 RTX 4090을 다시 게이밍 PC로 돌리는 방식으로 GPU 자원을 배분했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 My local LLM build: 9950X + RTX Pro 6000 + 5090 (128GB VRAM)
원문 보기 ↗