PS5 GPU를 활용한 로컬 LLM 구동 (Qwen 27B(큐원 27B), 20 tok/s)

요약

jailbroken PS5 환경에서 llama.cpp를 네이티브 앱으로 구동하여 GPU 가속을 활용하는 프로젝트가 공개되었습니다. 기존 PS5LM 프로젝트는 CPU 기반의 payload 방식이었으나, 이번 포크 버전은 Vulkan과 RADV 포트를 활용해 GPU를 사용하여 가용 메모리를 11.4 GiB까지 확보했습니다. 이를 통해 대규모 모델인 Qwen 2.5 27B(IQ2_XXS, 64k context)를 초당 약 20 토큰의 속도로 실행할 수 있게 되었습니다. 또한 Gemma 2 9B 모델은 약 61 tok/s, Llama 3.2 3B 모델은 약 124 tok/s의 성능을 보입니다. 개발된 앱은 TV 대시보드를 통해 실시간 토큰 속도, GPU/CPU 사용량, 전력 소모, 온도 등 하드웨어 상태를 모니터링하는 기능을 포함하고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.