참고팁Reddit
Nvidia T40(엔비디아 T40) 8개 기반 로컬 LLM 서버 구축 및 Qwen3.8(큐원 3.8)-Flash-Next 테스트
구형 서버 하드웨어의 전력·바이오스 설정 이슈와 대형 모델 구동 경험 공유. 로컬 인프라 구축 시 참고.
요약
최근 Reddit의 r/LocalLLM 커뮤니티에서 데이터센터용 GPU 카드를 로컬 환경에서 사용하는 것에 대한 경험담이 공유되었다. 작성자는 8개의 Nvidia T40 카드를 확보하여 빌드를 구성했으며, vllm을 사용하여 Qwen3.8-Flash-Next(180B MoE) Q4 모델을 구동한 결과 약 40t/s의 성능을 확인했다. 다만, 카드 6개를 200W 전력 제한으로 구동하던 중 차단기가 내려가는 등 전력 공급과 하드웨어 세팅에 어려움을 겪었다. 특히 메인보드인 X99-E WS에서 부팅을 위해 별도의 T400 그래픽카드로 BIOS 설정을 조정하는 등 복잡한 과정을 거쳐야 했다. 데이터센터 카드를 일반 시스템에서 구동하려는 실무자에게 하드웨어 호환성 및 전력 관리의 중요성을 시사하는 사례다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 "Because they're insufferable" - a fellow redditor's opinion of datacenter cards confirmed
원문 보기 ↗