Accelerate와 FSDP2 조합 시 배치 사이즈 자동 최적화 방법 논의

요약

Hugging Face의 SFTTrainer는 단일 GPU 환경에서 auto_find_batch_size=True 옵션을 통해 CUDA OOM 발생 시 자동으로 배치 사이즈를 조절하는 기능을 제공한다. 하지만 Accelerate와 FSDP2를 결합한 멀티 GPU 환경에서는 이와 같은 자동 배치 사이즈 탐색 기능이 기본적으로 지원되지 않아 사용자들의 구현 어려움이 있다. 특히 분산 학습 프로세스 중 특정 GPU에서 CUDA OOM이 발생했을 때, 전체 학습을 중단하고 배치 사이즈를 줄여 재시작하는 메커니즘이 Accelerate에 내장되어 있지 않다. 따라서 현재로서는 사용자가 외부에서 직접 배치 사이즈를 관리하거나, FSDP2 환경에서 이러한 기능을 지원하는 대안적인 멀티 GPU 학습 접근 방식을 모색해야 한다. 해당 이슈는 효율적인 분산 학습을 원하는 머신러닝 실무자들 사이에서 자동화된 리소스 관리를 위해 지속적으로 논의되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.