참고X
Meta(메타), 기가와트 규모 슈퍼클러스터 'Prometheus' 인프라 기술 상세 공개
수십만 개의 GPU로 85% 이상의 굿풋(goodput)을 달성한 Meta(메타)의 대규모 학습 인프라 구축 노하우 공유.
요약
Meta는 미국 오하이오주 뉴올버니에 위치한 기가와트 규모의 슈퍼컴퓨터 클러스터인 Prometheus에서 자사의 파운데이션 모델인 Muse 시리즈(Muse Wonder 포함)를 학습시켰다. 수십만 개의 GPU로 구성된 대규모 클러스터에서 개별 호스트의 성능 저하 문제를 해결하기 위해, Meta는 Prometheus를 회복탄력성 중심으로 설계했다. 그 결과 사전 학습(pretraining)에서 85% 이상의 굿풋(goodput), 강화학습에서는 90% 이상의 굿풋을 달성했다. 또한 Muse Wonder 학습 과정에서 중단 발생까지 평균 시간(MTBI)은 약 4만 7천 GPU 시간을 기록했다. 이번 기술 공개를 통해 Meta는 대규모 GPU 클러스터 운영의 효율성을 높이는 자사의 인프라 엔지니어링 역량을 강조했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @AIatMeta: We trained our Muse foundational models, including Muse Wonder, at Prometheus, our gigawatt-scale supercluster in New Albany, Ohio
원문 보기 ↗