참고팁Reddit
중고 Tesla M10(테슬라 M10) GPU 6개로 192GB VRAM 로컬 인퍼런스 구축기
가성비 중심의 로컬 LLM 서버 구축 전략. 대용량 VRAM이 필요한 모델 실행 시 고려할 만한 하드웨어 최적화 사례.
요약
최근 Reddit의 LocalLLM 커뮤니티에서 구형 NVIDIA Tesla M10 GPU 6개를 활용해 1,500달러로 192GB VRAM을 확보한 저비용 AI 연산 환경 구축 사례가 화제입니다. Tesla M10은 4개의 GM107 코어와 32GB VRAM으로 구성된 장치로, 총 6개를 조합하면 192GB의 VRAM과 약 2,000GB/s의 총 메모리 대역폭을 확보할 수 있습니다. 작성자는 이 시스템을 통해 QWEN 3.8 Flash Next 모델을 FP8 정밀도에서 52.5 t/s의 속도로 구동하는 데 성공했습니다. 일반적으로 AI 연산에 부적합하다고 알려진 장비이지만, GitHub 프로젝트 m10dis를 통해 이러한 한계를 극복했습니다. 고가의 최신 GPU를 구매하기 어려운 실무 환경에서 대용량 VRAM이 필요한 모델을 구동하기 위한 창의적인 대안으로 주목받고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Low cost $1500 AI rig - QWEN 3.8 Flash Next, 52.5 t/s decode in FP8 - 6xM10 = 192GB VRAM
원문 보기 ↗