참고팁Reddit
GTX 1650 Super에서 35B 모델 구동하는 llama.cpp 튜닝 기법
저사양 하드웨어 환경에서 거대 모델을 효율적으로 실행하기 위한 커스텀 설정 및 프로비저닝 워크플로우를 다룹니다.
원문 제목 Running a 35B model on a GTX 1650 Super using custom llama.cpp + models.ini tuning (Building an automated bare-metal provisioner)
원문 보기 ↗