오래된 서버로 고성능 로컬 추론 머신 구축기: DDR3 메모리 활용

요약

한 레딧 사용자가 퇴역한 서버인 HP DL380p에 172GB DDR3 메모리와 RX 6900 XT 그래픽카드를 조합하여 로컬 LLM 서버를 구축했습니다. 기존 서버의 라이저 카드가 듀얼 슬롯 GPU를 지원하지 않아 금속 덮개를 제거하고 GPU를 직접 장착하는 물리적 개조 과정을 거쳤습니다. 전력 부족 문제를 해결하기 위해 외부 파워서플라이를 별도로 연결하여 시스템을 구동했습니다. 이 '프랑켄슈타인' 서버는 긴 컨텍스트 모델을 25~45 tok/s 속도로 처리하는 성능을 보여주었습니다. 고용량 메모리가 필요한 로컬 LLM 환경에서 사장된 구형 서버 하드웨어를 활용하는 실질적인 대안을 제시했다는 평가를 받고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.