참고팁Reddit
M1/M2 Mac용 'Splash' 엔진 포팅으로 로컬 LLM 성능 최적화
27B 모델 구동 시 하드웨어 업그레이드 수준의 속도 향상 확인. 로컬 환경 최적화 레퍼런스로 참고 가능.
요약
Reddit의 사용자 u/Erp4759가 기존 M3 이상의 칩셋에서만 지원되던 Inco의 Splash 엔진을 M1 및 M2 Mac에서 구동할 수 있도록 Metal 커널을 재작성한 포트 버전을 공개했다. 해당 개발자는 2021 MacBook Pro(M1 Max, 24-core GPU, 64GB RAM) 환경에서 이 포트 버전을 테스트한 결과, 기존 oMLX 0.6.4 대비 27B 모델 구동 시 획기적인 성능 향상을 확인했다고 밝혔다. 특히 Qwen3.8-27B 모델을 기준으로 4-bit MLX 양자화 방식과 비교했을 때, Splash-M1 엔진은 주요 하드웨어 업그레이드에 준하는 토큰 처리 속도 개선 효과를 보였다. 이번 성과는 기존 M1/M2 Mac 사용자들에게 로컬 LLM 구동 효율을 크게 높일 수 있는 기술적 돌파구로 평가받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A breakthrough for M1 and M2 Macs
원문 보기 ↗