참고팁Reddit
24GB VRAM에서 27B 모델 학습 가능: 메모리 효율 최적화 기법 공개
고가의 GPU 없이도 대규모 모델 학습을 시도해볼 수 있는 최적화 기법. 로컬 학습 시 참고.
요약
최근 Reddit의 r/LocalLLM 커뮤니티에서 일반 게이밍 GPU로 LLM을 학습할 수 있는 새로운 최적화 기술이 공유되었습니다. 이 기술은 모델 가중치당 약 16바이트의 VRAM을 요구하는 기존의 AdamW 옵티마이저와 달리, 가중치당 1바이트 이하의 메모리만으로 학습이 가능하도록 설계되었습니다. 연구자는 BitNet 기반의 3진 신경망(ternary networks) 학습 시 기존에 필요했던 풀 정밀도 가중치 유지 문제를 해결하여 메모리 효율성을 극대화했습니다. 이를 통해 24GB VRAM을 갖춘 NVIDIA RTX 3090 GPU에서도 27B 규모의 모델을 직접 학습할 수 있는 환경이 조성되었습니다. 현재 연구자는 기존 모델 변환 작업을 진행 중이며, 관련 코드와 논문은 해당 리포지토리에서 확인할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 You can now train your own LLMs with less memory, on your gaming GPUs
원문 보기 ↗