참고팁X
PS5에서 LLM 구동 성공…'PS5LM' 프로젝트 화제
콘솔 기기를 활용한 로컬 LLM 구동 사례. 가용 리소스 내 최적화와 로컬 추론 성능을 확인할 수 있는 흥미로운 실험.
요약
탈옥된 PS5를 활용해 고성능 AI 모델을 구동하는 프로젝트인 PS5LM이 공개되었다. 270억 개의 파라미터를 가진 Qwen 3.8 27B 모델을 PS5의 GPU로 구동한 결과, 메모리 제약에도 불구하고 초당 약 21토큰의 생성 속도를 기록했다. 더 가벼운 모델인 Gemma 4 E4B와 Llama 3.2 3B를 테스트했을 때는 각각 초당 61토큰과 124토큰의 빠른 속도를 보였다. 구동 테스트 중 PS5의 GPU는 100% 점유율을 나타냈으나 CPU 사용량은 거의 없었다. 당시 기기는 약 86W의 전력을 소비하며 54°C의 온도를 기록했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Pirat_Nation: A jailbroken PS5 is now being used to run a powerful AI model directly on the console. A project called PS5LM has managed to run Q
원문 보기 ↗