Dual 7900xtx 기반 로컬 LLM 구축 및 성능 벤치마크 공유

요약

한 Reddit 사용자가 Ryzen 7 5800x, 64GB DDR4 메모리, Dual Sapphire nitro+ 7900xtx GPU를 활용한 로컬 LLM 구동 환경을 공개했다. 각 7900xtx 카드는 305W 전력 제한과 언더클럭/언더볼트를 통해 부하 시 각각 약 250W를 소모하도록 최적화되었다. Unsloth 3.8 27b 모델(q4kxl) 구동 시 디코드 속도는 40 t/s, 프리필(prefill)은 700~800 t/s 수준을 기록했다. Strata with swift 1.5 flash next 모델(q3s)의 경우 프리필 1300 t/s, 50~60 t/s의 디코드 속도를 안정적으로 유지한다. 작성자는 특정 설정을 통해 프리필 성능을 2300 t/s까지 높일 수 있었으나, 추론 불안정성 문제로 해당 기능을 비활성화했다고 밝혔다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.