파이프라인 병렬 학습의 결함 허용(Fault Tolerance)을 위한 '스테이지 스킵' 기법

요약

Templar는 분산 사전 학습 플랫폼인 Crucible에서 특정 파이프라인 단계가 오프라인 상태가 되어도 학습을 지속할 수 있는 결함 허용(fault tolerance) 기술을 공개했다. Crucible은 데이터 병렬 복제본과 파이프라인 병렬 처리를 결합하여 모델을 단계별로 나누어 각 워커에 분산한다. 핵심 기술인 '스테이지 스키핑(stage skipping)'은 특정 내부 단계가 중단될 경우 해당 단계의 연산을 우회하여 활성화 값과 그래디언트를 전달한다. 이를 통해 정상 상태의 워커들은 복구를 기다리지 않고 토큰 처리를 계속하여 학습 흐름을 유지할 수 있다. 시뮬레이션은 178M 규모의 모델을 기반으로 8개의 복제본과 4개의 단계를 사용하여 검증되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.