참고팁X
llama.cpp, 로컬 'Decision Models' 구동 지원
로컬 환경에서 추론 모델을 무료로 구동 가능. 프라이버시가 중요한 의사결정 워크플로우를 로컬로 이전 검토 필요.
원문 제목 @ClementDelangue: Decision models now run on device in llama.cpp. Free, fast, private! llama serve -hf ggml-org/Kev-4B-GGUF https://t.co/ApnQQaKB4Z
원문 보기 ↗