참고팁X
Unsloth, AMD GPU 공식 지원 시작… 로컬 LLM 학습 가속
3GB VRAM 환경에서도 LLM 학습 가능. AMD 하드웨어 보유자의 LLM 파인튜닝 진입장벽 대폭 완화.
요약
Unsloth가 AMD와 협력하여 AMD 하드웨어에서 LLM을 학습 및 실행할 수 있는 기능을 공식 지원한다. 이번 업데이트로 Radeon, Instinct, Ryzen을 포함한 AMD GPU 환경에서 Windows, WSL, Linux 기반으로 500개 이상의 모델을 운영할 수 있게 됐다. 커스텀 Triton 커널과 수학 알고리즘을 적용해 기존 대비 최대 2배 빠른 속도와 70% 적은 VRAM 점유율을 달성했으며 정확도 손실은 없다. 특히 3GB VRAM만으로도 Qwen, Gemma 등의 모델을 학습할 수 있다. 또한 GGUF 및 Safetensors 추론을 위한 최적화된 ROCm 빌드를 지원하며 로컬 환경에서 Kimi, GLM, DeepSeek, Qwen3.6, Gemma 4 등 최신 모델을 구동할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @UnslothAI: Introducing Unsloth for AMD 🚀 You can now train & run LLMs on your AMD hardware • We collaborated with AMD to enable you to train
원문 보기 ↗