참고팁HF Blog
Hugging Face(허깅페이스), AsyncGRPO에서 LoRA 활용한 비동기 학습 가이드 공개
LoRA 어댑터로 학습과 추론을 분리해 리소스 효율을 높이는 실전 기법. RL 파이프라인 최적화 시 참고 가능.
요약
TRL v1.14의 AsyncGRPOTrainer가 LoRA 학습을 지원하며, 전체 모델 대신 가벼운 LoRA 어댑터만 vLLM으로 동기화하는 방식을 도입했다. LoRA는 RL 환경에서 full fine-tuning과 유사한 성능을 내면서도 파라미터 업데이트 시 전송 데이터 크기를 대폭 줄여주는데, 예를 들어 1.5B 모델 기준 전체 모델(3GB) 대신 수 MB 크기의 어댑터만 전송하면 된다. 이러한 아키텍처는 학습과 추론 프로세스를 물리적으로 분리하여 서로 다른 머신에서 각자의 속도로 작동하게 할 수 있다. vLLM은 여러 어댑터를 동시에 로드할 수 있어 이전 롤아웃은 기존 정책을 유지하고 새로운 롤아웃은 최신 정책을 적용하는 유연한 운영이 가능하다. 특히 NCCL 설정 없이도 S3 버킷과 프록시를 활용해 Hugging Face Jobs 환경에서 분산 학습 및 추론을 구현할 수 있게 되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
원문 보기 ↗