참고팁X
Qwen 3.6 27B, eGPU 환경서 USB 3.0 연결로 34 tok/s 구동 달성
범용 컴퓨터 환경에서 고성능 모델 로컬 구동 가능성 입증. 최적화 및 하드웨어 구성 참고용.
요약
Tinygrad 개발자가 AMD 7900XTX와 USB 3.0 연결을 통해 Qwen 3.6 27B 모델을 구동하는 시연을 공개했다. 이 환경에서는 지난 10년 내 출시된 대부분의 컴퓨터에서도 초당 34 토큰(tok/s)의 속도로 모델 실행이 가능하다. 해당 성능을 지원하는 eGPU 도크는 오는 12일에 출시될 예정이다. 이 도크는 100% 오픈 소스 펌웨어를 탑재하며, 직렬 연결 및 복구 기능을 위한 추가 USB 포트를 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @__tinygrad__: Here's Qwen 3.6 27B on an AMD 7900XTX over USB3 (literally any computer made in the last 10 years) at 34 tok/s. The eGPU dock that
원문 보기 ↗