엔비디아, 파이썬 파일 하나로 끝내는 RL(강화학습) 프레임워크 'Molt' 공개

요약

NVIDIA가 복잡한 RL 학습 설정을 단일 파이썬 파일로 간소화할 수 있는 새로운 강화학습 프레임워크인 'Molt'를 공개했다. 기존 RL 프레임워크와 달리 환경과 보상 로직을 별도 코드베이스에 작성할 필요 없이, 사용자가 Env 클래스의 step() 함수를 작성하거나 ChatAgent 클래스를 통해 에이전트 루프를 정의하면 프레임워크가 이를 처리한다. 별도의 보상 모델 학습이나 배치 없이 스트링 매치, 샌드박스 코드 실행, LLM-as-judge 등을 통해 보상을 즉시 반영할 수 있다. Molt는 FSDP2, vLLM, Ray를 기반으로 생성, 학습, 가중치 동기화를 병렬로 수행하며, 플래그 설정만으로 8B 모델부터 DeepSeek-V3 규모의 MoE 모델까지 클러스터 환경에서 확장 가능하다. 학습자는 환경 코드 수정 없이 에이전트 경로만 지정하면 되므로 개발 생산성을 높일 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.