참고팁Reddit
Mac Apple Neural Engine에서 Qwen 3.8 27b 구동 엔진 공개
Mac ANE을 활용해 저전력 환경에서 로컬 LLM을 추론하는 구체적인 구현체입니다.
요약
Reddit의 한 사용자가 Qwen 3.8 27b 모델을 Apple Neural Engine(ANE)에서 7W 전력만 사용하여 구동할 수 있는 추론 엔진을 공개했다. 이번 업데이트는 OSX 27 환경에 맞춰 엔진을 재설계한 결과물로, Hugging Face를 통해 모델과 엔진을 모두 사용할 수 있다. 해당 프로젝트는 Apple Foundational Model 스타일의 터미널 챗 애플리케이션과 OpenAI 호환 추론 서버를 포함하며, 전체 컨텍스트를 지원한다. 또한 Flash Next를 활용한 GPU와 ANE 하이브리드 구동 방식도 제공한다. 향후 M5 Ultra 또는 M6 이상의 듀얼 ANE 탑재 Mac 모델에서는 순수 ANE 기반의 Flash Next 엔진 구현도 가능할 것으로 보인다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Run Qwen 3.8 27b on the Apple Neural Engine at 7 watts on a Mac
원문 보기 ↗