참고팁X
PS4에서 Qwen3.5(큐원 3.5) 구동 사례: 4-bit 양자화로 30t/s 성능 확보
콘솔 기기 같은 제한된 자원 환경에서 로컬 LLM을 최적화하여 구동하는 방법론적 사례.
요약
한 개발자가 탈옥(jailbroken)된 PS4 콘솔에서 오프라인으로 작동하는 ChatGPT 스타일의 AI를 구동하는 데 성공했다. Garlic LLM 프로젝트는 알리바바의 90억 파라미터 모델인 Qwen3.5를 4비트 및 3비트 가중치로 최적화해 약 4.5GB 크기로 압축했다. 해당 모델은 PS4의 그래픽 칩을 활용해 초당 31~39 토큰의 속도로 답변을 생성하며, 모델 내부의 일부 구성요소가 다음 단어를 예측하고 전체 모델이 이를 검증하는 방식으로 속도를 높였다. 사용자는 컨트롤러 버튼을 눌러 음성 명령을 입력할 수 있으며, AI는 콘솔 내에서 파이썬 코드를 작성하고 실행하는 기능도 갖췄다. 이번 구동에는 해킹된 PS4용 홈브류 도구인 GoldHEN이 필수적으로 사용되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @IntCyberDigest: ‼️ A developer got a ChatGPT-style AI running fully offline on a jailbroken PS4, and it answers faster than you can read. Garlic L
원문 보기 ↗