분산형 오픈소스 LLM 프로젝트 'CrowdGPT v2.6' 공개

요약

Reddit의 r/LocalLLaMA 커뮤니티에서 대규모 업데이트된 CrowdGPT v2.6이 공개되었다. CrowdGPT는 데이터센터나 막대한 자본 없이 개인이 보유한 PC의 컴퓨팅 자원을 활용해 거대언어모델(LLM)을 공동으로 학습시키는 오픈 프로젝트다. 이번 v2.6 업데이트를 통해 프로젝트는 10억 개의 파라미터를 가진 모델을 오픈 소스 방식으로 공동 훈련하는 개념 증명을 목표로 한다. 참여자는 각자의 PC로 독립적으로 AI를 학습시킨 뒤, 그 기여분을 글로벌 모델에 병합하는 방식으로 프로젝트 방향성에 관여할 수 있다. 향후 더 큰 규모의 밀집형 모델이나 MoE(Mixture of Experts) 아키텍처로 확장할 가능성도 열려 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.