NVIDIA(엔비디아), 강화학습 메모리 사용량 45% 절감하는 'LoGRA' 공개

요약

NVIDIA가 강화학습(Reinforcement Learning) 훈련 시 메모리 사용량을 최대 45.7% 절감하는 새로운 기법인 LoGRA를 공개했다. LoGRA는 학습 신호를 소형 '그래디언트 스케치(gradient sketches)'로 압축하고 업데이트 크기를 제어하여 성능 손실 없이 메모리 효율을 극대화한다. 연구진은 단일 노드 내 8개의 H100 GPU 환경에서 27B 규모 모델을 1,100단계 이상 성공적으로 훈련했다. 기존 Adam 옵티마이저 방식으로는 동일 하드웨어에서 메모리 부족(OOM)이 발생했던 것과 대조적인 성과다. 이번 기술은 GPU 메모리 부담을 낮춰 제한된 자원 내에서도 대규모 모델 훈련 및 실험을 가능하게 할 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.