중고 PS5를 로컬 LLM 추론 머신으로 활용 가능할까?

요약

중고 PlayStation 5(PS5)를 저렴한 로컬 LLM 구동용 머신으로 활용하려는 시도가 주목받고 있다. PS5는 16GB GDDR6 메모리와 448 GB/s의 대역폭을 갖춰 RTX 5060 Ti 16GB와 유사한 하드웨어 성능을 제공한다. OS 점유를 제외하고 약 14~15GB의 가용 메모리를 활용하면 27B 파라미터 모델의 양자화 버전을 구동할 수 있을 것으로 예상된다. 토큰 생성 속도는 메모리 대역폭에 따라 결정되므로, 이론상 최대 20~30 tk/s 수준의 성능을 기대할 수 있다. 현재 GitHub에 공개된 ps5-linux-loader를 사용해 리눅스 환경에서 구동 가능하며, 이미 유사 아키텍처인 BC-250 기반의 구동 사례가 있어 실현 가능성이 높게 평가된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.