로컬 LLM 워크스테이션 구축기: Mac Studio M5Max & Qwen3.8(큐원 3.8) 사용 경험

요약

한 사용자가 Claude 구독을 취소하고 로컬 LLM 환경 구축을 위해 128GB RAM을 탑재한 Mac Studio M5Max를 도입한 경험을 공유했다. 해당 사용자는 인프라 최적화, Kubernetes 관리, 로그 분석 등의 업무를 위해 vMLX를 기반으로 27B 파라미터의 Qwen3.8 4-bit 모델을 구동하고 있다. 시스템 환경으로는 메트릭 수집 및 테스트를 위해 LiteLLM을 게이트웨이로 설정했으며, 원격 접속을 위해 Tailscale을 활용 중이다. 현재 Qwen3.8 모델이 추론 과정에서 무한 루프에 빠지는 등 '생각이 빗나가는' 문제점이 발견되어 실무 적용에 어려움을 겪고 있다. 이번 사례는 고사양 로컬 서버 구축을 고민하는 사용자들에게 하드웨어 투자 대비 소프트웨어 최적화의 중요성을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.