← promppy_ 실시간 AI 뉴스
참고팁Reddit

Qwen 27B(큐원 27B) 로컬 추론 벤치마크: 6x 7900XTX 구성 실사례

6개의 GPU를 활용한 고성능 로컬 추론 구성. Qwen(큐원) 모델을 로컬에서 쾌적하게 운용하기 위한 하드웨어 조합 참고용.

요약

최근 Reddit r/LocalLLM 커뮤니티에 6개의 AMD Radeon RX 7900XTX GPU를 장착한 고성능 로컬 LLM 구동 환경이 공개되었다. 해당 시스템은 6개 GPU의 PCIe 4.0 16레인 전체 대역폭을 확보하기 위해 AMD Threadripper 5975WX CPU를 탑재했다. 또한 128GB의 3200MT/s RAM과 AliExpress에서 구매한 3450W 파워 서플라이(PSU), 그리고 채굴용 프레임을 활용해 안정적인 구성을 갖췄다. 이 환경에서 Qwen 2.5 72B 기반 모델과 flash-next 모델을 구동할 경우, 120~130 tok/s의 생성 속도를 확보할 수 있는 것으로 확인되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 6x 7900XTX rig finally complete!

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스