8GB VRAM에서 구동 가능한 동적 지속 학습 모델 'Mini-AGI' 공개

요약

mini-AGI는 8GB VRAM GPU 환경에서 작동하며 스스로 아키텍처를 구성하고 학습하는 연속 학습(continual learning) 기반 바이트 레벨 언어 모델입니다. 모델 가중치를 디스크에 저장하고 필요할 때마다 로드하는 방식을 사용하여 VRAM 제한 없이 디스크 용량만큼 파라미터를 확장할 수 있습니다. 학습 과정에서 용량이 부족하면 새로운 신경망 용량을 생성하고, 불필요한 부분은 삭제(pruning)하며 효율적으로 학습합니다. 현재 이 모델은 최첨단 AI 수준은 아니지만, 일반적인 PC 하드웨어에서도 파괴적 망각(catastrophic forgetting) 없이 지속적인 학습이 가능함을 입증하는 실험적 모델입니다. 사용자는 자신의 환경과 데이터에 맞춰 직접 모델을 학습시키거나 확장할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.