참고X
PS5에서 Qwen 3.8(큐원 3.8) 27B 구동 성공, 초당 20 토큰 확보
콘솔 게임기인 PS5 GPU를 활용한 로컬 LLM 구동 사례. 소비자용 하드웨어의 AI 추론 잠재력을 보여줌.
요약
최근 한 사용자가 탈옥된 PlayStation 5에서 27B 파라미터를 가진 Qwen AI 모델을 구동하는 데 성공했다. PS5의 GPU를 활용한 추론 속도는 초당 20토큰(20 tok/s)으로, 일반적인 게임 콘솔에서 고성능 AI 모델을 로컬 환경에서 실행할 수 있는 가능성을 보여주었다. 반면, 동일한 모델을 PS5의 CPU에서 구동했을 때는 1분에 1토큰이라는 현저히 낮은 성능을 기록했다. 한편, 현재 DDR4 메모리 가격이 3개월간 24% 상승하고 AMD의 GPU 메모리 가격 인상과 고성능 하드웨어 수급난이 이어지는 상황에서, PS5와 같은 게임 콘솔이 잠재적인 AI 연산 자원으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @chasmmmmmmmmmmm: NOT EVEN THE PLAYSTATION 5 IS SAFE 🚨 Someone jailbroke a PS5 and got Qwen 3.8 27B running on its GPU at 20 tok/s. That's a real 2
원문 보기 ↗