참고팁Reddit
16GB Mac에서 Gemma 4(젬마 4) 26B-A4B 구동 성공, 성능 벤치마크 공개
로컬 환경에서 대형 모델을 효율적으로 실행하는 팁. Kraits 등을 활용해 메모리 제약 환경을 극복하는 사례.
요약
Kraits 플러그인을 활용해 16GB Mac mini M4에서 구글의 Gemma 4 26B-A4B(QAT Q4_0, 14.4GB) 모델을 오프라인으로 구동한 결과가 공개되었습니다. 해당 모델은 레이어당 128개의 전문가 중 80개를 GPU에 배치하여 실행하며, SSD를 참조하지 않고 메모리 내에서 원활하게 작동합니다. TypeScript 작업 테스트 결과, 5개 과제 중 33/40점을 기록하며 31 tok/s의 처리 속도를 보였습니다. 이는 컴파일 및 Jest 테스트를 엄격하게 수행한 결과로, 온도(temperature) 0에서 1회 실행된 데이터입니다. 모델의 전문가 라우팅 전략을 통해 제한된 하드웨어 사양에서도 효율적인 성능 최적화가 가능함을 입증했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Gemma 4 26B-A4B on a 16 GB Mac: 33/40 on TypeScript tasks, 31 tok/s, offline, using Google's stock file
원문 보기 ↗