참고팁Reddit
Gemma 4 12B 툴 호출 성능 개선 파인튜닝 모델 공개
16GB VRAM 환경에서 툴 호출 효율을 2.7배 높인 파인튜닝 가중치 공유. 제한된 자원 환경에서 에이전트 성능 개선에 유용.
요약
Reddit 사용자 TheOneWhoWil이 16GB VRAM 환경에서도 원활하게 구동할 수 있는 Gemma 2 12B 기반의 파인튜닝 모델을 공개했다. 기존 Gemma 2 12B 모델이 에이전트 코딩이나 CLI 환경에서 도구 활용 능력이 다소 부족하다고 판단해 직접 튜닝을 진행했다. 이번 파인튜닝을 통해 모델의 도구 호출(Tool calling) 성능은 기존 대비 2.7배 향상되었으며, 도구 호출 시도 횟수 또한 15.7% 증가했다. 결과적으로 모델이 불필요한 추론에 빠지지 않고 실제 작업을 더 적극적으로 수행하게 개선되었다. 해당 모델의 fp16 및 Q4_K_M 가중치는 llama.cpp나 ollama에서 바로 사용할 수 있도록 업로드된 상태이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I fine tuned Gemma 4 12B for a 2.7x improvement on tool calling because I can't fit anything else comfortably into my 16 GBs of Vram
원문 보기 ↗