MoE 모델 로컬 추론 시 DDR4 vs DDR5 메모리 대역폭 성능 비교 질문

요약

한 사용자가 Threadripper PRO 5995WX 기반 멀티 GPU 시스템(RTX PRO 6000 6대, RTX 5090 8대, RTX 3090 4대 구성)에서 VRAM을 초과하는 대규모 MoE 모델을 구동하기 위한 RAM 오프로드 전략을 고민하고 있다. 현재 128GB DDR4 구성의 한계를 극복하기 위해 8× 64GB DDR4-2933 RDIMM 업그레이드와 DDR5-6400 기반의 WRX90 플랫폼으로의 전면 교체 사이에서 득실을 따지는 상황이다. DDR4-2933(약 188 GB/s)과 DDR5-6400(약 410 GB/s)의 대역폭 차이가 약 2배인 반면, 플랫폼 교체 비용은 3배에 달해 비용 대비 효율성에 의문을 제기했다. 특히 MoE 모델의 routed experts를 RAM으로 오프로드할 때 DDR4와 DDR5 간의 실제 t/s(token per second) 차이가 플랫폼 교체 비용을 정당화할 수 있을지가 핵심 쟁점이다. 사용자는 PCIe 4.0 환경이 유지되는 상황에서 DDR5 전환이 성능 향상에 유의미한지 커뮤니티의 검증된 데이터를 구하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.