참고X
PS5 탈옥으로 27B 규모 Qwen(큐원) 모델 로컬 구동 성공
콘솔 GPU를 활용한 로컬 LLM 구동 사례. 전용 하드웨어 없이도 고성능 모델 활용 가능성을 보여주는 흥미로운 실험.
요약
한 개발자가 PS5를 탈옥해 27B 파라미터 규모의 Qwen 3.8 AI 모델을 로컬 환경에서 구동하는 데 성공했다. 해당 모델을 PS5 GPU로 구동할 경우 초당 20토큰의 속도를 보였으나, CPU로 구동할 때는 분당 1토큰 처리에 그쳐 하드웨어 가속의 중요성을 극명하게 보여주었다. 이 프로젝트는 오픈소스인 PS5LM으로 llama.cpp를 탈옥된 PS5에 포팅한 결과물이다. 현재 TV 대시보드, 모델 스토어 기능을 포함하고 있으며, 네트워크 내 모든 기기에서 호출 가능한 API를 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @VaibhavSisinty: Someone just jailbroke a PS5 and got a 27B AI model running on it The model is Qwen 3.8, running locally on the console's GPU at 2
원문 보기 ↗