참고팁X
Unsloth, Qwen3.5(큐원 3.5) 기반 로컬 의사결정 모델 파인튜닝 가이드
4GB VRAM 환경에서 Qwen3.5(큐원 3.5) 0.8B 모델의 의사결정 정확도를 20%에서 74%로 향상시키는 파인튜닝법.
요약
UnslothAI가 사용자가 직접 로컬 환경에서 자신만의 Decision 모델을 학습시킬 수 있는 기능을 공개했다. Qwen3.5 0.8B 모델을 활용해 4GB VRAM 환경에서 3개 의사결정 벤치마크 기준 정확도를 기존 20.7%에서 74.3%로 크게 향상시켰다. 사용자는 Unsloth 오픈소스 저장소를 통해 Qwen3.8, Gemma 4 등 다양한 LLM을 의사결정 모델로 전환할 수 있다. 이번 테스트는 Clef head를 활용하고 LoRA(r=64) 기법으로 1 에폭(epoch) 학습을 진행했으며, 하위 작업 정확도를 30~37%에서 78%까지 끌어올렸다. 관련 가이드와 노트북은 Unsloth 공식 깃허브에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @UnslothAI: You can now train your own Decision model like Jev locally! We increased Qwen3.5 0.8B’s aggregate accuracy from 20.7% to 74.3% acr
원문 보기 ↗