참고팁Reddit
Bonsai 2 27B 모델, 8GB M2 Mac mini 로컬 구동 벤치마크 및 최적화 설정
제한된 메모리 환경에서 대형 모델을 돌리기 위한 llama.cpp 플래그 설정 및 실측 성능 데이터.
요약
PrismML의 경량화 모델인 Bonsai 2 27B(Ternary Qwen3.8-27B, 5.95GB GGUF)를 8GB RAM을 탑재한 M2 Mac mini에서 구동한 테스트 결과가 공유되었다. 벤치마크 결과, 메모리 할당 제한을 위해 -ub 256(q4_0 KV) 또는 -ub 128(f16 KV) 설정을 적용했을 때 스왑 없이 모든 레이어를 GPU에 오프로드하여 초당 7.6 토큰(tg128)의 속도를 확보했다. 이는 M4 Pro 환경에서의 측정치인 18 tok/s와 비교했을 때, M2의 대역폭 차이를 고려하면 예상 가능한 수치이다. 반면 기본 설정이나 특정 KV 캐시 설정값에서는 메모리 할당 실패가 발생했으며, 설정에 따라 시스템 커널 패닉을 유발하기도 했다. 이번 테스트는 8GB RAM과 같은 최소 사양 환경에서 고용량 모델을 구동하기 위한 구체적인 설정 최적화의 중요성을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Bonsai 2 27B on an 8GB M2 Mac mini: 7.6 tok/s, every layer on GPU, no swap. The four flags that make it fit, and the one that kernel-panicked the machine
원문 보기 ↗