참고팁Reddit
EPYC와 중고 GPU 조합으로 384GB VRAM 인프라 구축기
고가 GPU 대신 가성비 좋은 중고 CPU 활용하여 384GB VRAM 환경 구축. 대규모 모델 로컬 운영 시 참고할 만한 인프라.
요약
한 스타트업 엔지니어가 중고 EPYC 프로세서를 활용해 4개의 R9700 GPU를 탑재한 AI 서버 3대를 구축했다. 대당 총 비용은 약 1만 700달러(약 1,400만 원)이며, 이를 통해 총 384GB의 VRAM을 확보했다. Threadripper 대신 저렴한 중고 EPYC을 선택해 비용을 절감하고, 확보된 예산 대부분을 GPU에 집중 투자했다. 구축된 서버는 총기 관련 기업 데이터베이스를 최신 상태로 유지하고 자동화하는 비즈니스용 AI 운영에 활용된다. 단순히 하드웨어 스펙 공개에 그치지 않고 실제 비즈니스 모델을 구동하는 사례를 공유했다는 점에서 현지 커뮤니티의 주목을 받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 4x R9700 builds with $127 used EPYCs: $10.7k all-in per machine. I built three (384GB VRAM)
원문 보기 ↗