중고 엔터프라이즈 GPU로 구축하는 가성비 LLM 인프라 벤치마크

요약

최근 한 레딧 사용자가 15종의 중고 엔터프라이즈 GPU가 현대적 AI 워크로드를 처리할 수 있는지 검증한 결과를 공개했다. P100(16GB)은 약 75달러, V100(16GB)은 200달러 미만에 거래되며, 저렴한 X99 Xeon 메인보드와 조합 시 홈랩 구축을 위한 대용량 VRAM 확보에 유용하다. 이들은 소프트웨어 지원 종료(EOL)와 낮은 전력 효율성 문제를 안고 있으나, llama.cpp 등을 직접 컴파일하거나 사용하지 않을 때 전원을 끄는 방식으로 충분히 대응 가능하다. 작성자는 자체 개발한 Docker 기반 벤치마킹 도구를 사용하여 K80, M10, M40, M60, P40, P100 등 다양한 Tesla GPU를 테스트했다. 이번 실험은 가성비 좋은 AI 인프라 구축을 고려하는 사용자들에게 중고 엔터프라이즈 GPU 활용 가능성을 제시한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.