참고팁Reddit
로컬 LLM 벤치마크: R9700 4-way GPU 구성 시 추론 성능 공유
R9700 4개 구성에서 128K 컨텍스트 동시 처리 시의 토큰 속도와 응답 지연 데이터를 통해 하드웨어 구축 가이드라인 확인 가능.
요약
최근 한 사용자가 R9700 GPU 4개를 장착한 시스템의 벤치마크 결과를 r/LocalLLaMA 커뮤니티에 공개했다. 이 시스템은 8명의 사용자가 동시에 128K 컨텍스트를 사용할 때 개별 사용당 80~225 tok/s의 속도로 추론을 수행하며, Prefill 속도는 사용자 수와 관계없이 약 6,800 tok/s를 기록했다. 8명의 사용자가 동시에 128K의 신규 프롬프트를 보낼 경우 첫 토큰 생성까지 약 2.5분의 대기 시간이 발생했다. 해당 시스템은 EPYC 7402P CPU와 128GB DDR4 RAM, Gigabyte 및 XFX의 R9700 GPU 4개로 구성되었으며 각 GPU는 210W로 전력 제한되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Joined the 4x R9700 Club | Initial Benchmarks for QFN 3.8 Below
원문 보기 ↗