바이트댄스, Anthropic 겨냥 10조 파라미터 초대형 모델 학습 착수

요약

바이트댄스(ByteDance)가 앤스로픽(Anthropic)의 최신 모델인 Mythos에 버금가는 대규모 AI 모델을 개발 중이다. 소식통에 따르면 바이트댄스는 파라미터 수가 최대 10조 개에 달하는 모델을 초기 단계에서 학습시키고 있으며, 이는 현재까지 공개된 중국 내 최대 모델인 문샷(Moonshot)의 Kimi K3보다 3배 더 큰 규모다. 통상 3~6개월이 소요되는 사전 학습 단계를 거쳐 파인튜닝 후 공개될 예정이나, 정확한 모델 규모는 추후 결정될 방침이다. 앤스로픽의 Mythos 5가 약 8조 개의 파라미터를 보유한 것으로 추정되는 가운데, 이번 시도는 중국 기업들이 미국 선도 AI 연구소들과의 기술 격차를 좁히고 나아가 추월하려는 의지를 보여준다. 최근 문샷과 알리바바(Alibaba)의 모델들이 벤치마크에서 앤스로픽의 Fable 5에 근접한 성능을 보이며 중국 AI 기술력의 빠른 성장을 입증하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.