참고Reddit
커뮤니티 협업 기반 1B 파라미터 모델 'Crowd-v1' 프로젝트 공개
기존 GPU 클러스터 없이 로컬 환경에서 분산 학습을 시도하는 모델. 로컬 LLM 생태계의 새로운 분산 학습 방식 타진.
요약
Crowd-v1 프로젝트는 데이터센터와 고가의 GPU 클러스터 없이 0달러의 비용으로 10억 개의 파라미터를 가진 트랜스포머 모델을 공동 훈련하는 것을 목표로 한다. 이 프로젝트의 일차적 목표는 Qwen3-0.6B의 성능을 넘어서는 1B 파라미터 모델을 개발하여 개념 증명을 완료하는 것이다. 커뮤니티 기여도가 쌓이면 향후 7B A1B MoE나 30B A3B MoE와 같이 더 큰 규모의 모델로 확장할 계획이다. Crowd-v1은 완전한 비영리 오픈소스 프로젝트로서, 대규모 자본 없이도 경쟁력 있는 LLM을 구축할 수 있는 새로운 AI 훈련 패러다임을 제시하고자 한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Crowd-v1 - The collaborative LLM
원문 보기 ↗