← promppy_ 실시간 AI 뉴스
참고팁X

PS4에서 Qwen3.5(큐원 3.5) 구동 사례: 4-bit 양자화로 30t/s 성능 확보

콘솔 기기 같은 제한된 자원 환경에서 로컬 LLM을 최적화하여 구동하는 방법론적 사례.

요약

한 개발자가 탈옥(jailbroken)된 PS4 콘솔에서 오프라인으로 작동하는 ChatGPT 스타일의 AI를 구동하는 데 성공했다. Garlic LLM 프로젝트는 알리바바의 90억 파라미터 모델인 Qwen3.5를 4비트 및 3비트 가중치로 최적화해 약 4.5GB 크기로 압축했다. 해당 모델은 PS4의 그래픽 칩을 활용해 초당 31~39 토큰의 속도로 답변을 생성하며, 모델 내부의 일부 구성요소가 다음 단어를 예측하고 전체 모델이 이를 검증하는 방식으로 속도를 높였다. 사용자는 컨트롤러 버튼을 눌러 음성 명령을 입력할 수 있으며, AI는 콘솔 내에서 파이썬 코드를 작성하고 실행하는 기능도 갖췄다. 이번 구동에는 해킹된 PS4용 홈브류 도구인 GoldHEN이 필수적으로 사용되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @IntCyberDigest: ‼️ A developer got a ChatGPT-style AI running fully offline on a jailbroken PS4, and it answers faster than you can read. Garlic L

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스