GPU 스케줄링 최적화: FIFO 대신 제약 조건 고려한 할당으로 효율 33% 상승

요약

Hugging Face는 하드웨어 변경 없이 작업 할당 순서 최적화만으로 GPU 활용률을 최대 33%p, 우선순위 가중치를 최대 105%까지 향상시킨 제약 조건 인식 GPU 할당기(constraint-aware GPU allocator)를 개발했다. 기존 FIFO 방식과 달리 이 시스템은 GPU, 작업, 시간 단계의 조합에 대해 각 타임스텝마다 이진 선택을 통해 최적의 스케줄링 그리드를 생성한다. 작업은 훈련, 배치 추론, 양자화와 같은 연속적인 GPU 블록이 필요한 '배치형'과 수요 변화에 따라 유연하게 대응해야 하는 '실시간 추론' 유형으로 나뉜다. 시스템은 이처럼 상이한 성격의 작업들이 효율적으로 자원을 공유하도록 복잡한 할당 의사결정을 수행한다. 이번 실험 결과는 단순히 GPU를 가동하는 것을 넘어, 구체적인 우선순위 기반의 세밀한 스케줄링 전략이 시스템 효율성에 큰 영향을 미친다는 점을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.