TorchTitan 기반 1T 파라미터 MoE 모델 학습 기술 가이드 공개

요약

최근 TorchTitan과 PyTorch 유지보수팀은 JUPITER 슈퍼컴퓨터의 GH200 GPU를 활용하여 1T 파라미터 규모의 MoE(Mixture of Experts) 모델 학습 성능을 최적화하는 데 성공했다. 384개의 GH200 GPU를 사용하여 GPU당 초당 약 1,300 토큰의 처리 속도를 달성했으며, 이는 기존 대비 14배 향상된 결과이다. 이번 최적화 과정에서는 FSDP(Fully Sharded Data Parallel)와 EP(Expert Parallelism)를 결합한 전략이 사용되었으며, 개발팀은 대규모 모델 학습 과정에서 겪은 CUDA 메모리 부족 문제 해결 경험과 기술적 교훈을 공유했다. 자세한 실험 데이터와 상세 분석 내용은 Domyn 블로그와 PyTorch 블로그를 통해 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.