SEED: 에이전트 학습 효율 극대화 위한 자가 진화형 RL 프레임워크

요약

대형언어모델(LLM) 기반 에이전트 학습 시 발생하는 결과 중심 강화학습의 보상 희소성 문제를 해결하기 위해 SEED(SElf-Evolving On-Policy Distillation) 프레임워크가 제안되었습니다. SEED는 정책 모델이 완료된 궤적을 분석하여 재사용 가능한 작업 흐름, 관찰 결과, 실패 방지 규칙 등을 자연어 기술로 추출하도록 합니다. 학습 과정에서 정책은 궤적을 수집함과 동시에 추출된 기술을 바탕으로 행동 확률을 재평가하며, 이를 통해 희소한 보상 대신 밀도 높은 토큰 단위의 학습 신호를 생성합니다. 이러한 기술 추출과 정책 업데이트가 반복되는 자기 진화 과정을 통해 에이전트의 의사결정 능력과 기술 분석 능력이 동시에 향상됩니다. 텍스트 및 비전 기반 에이전트 작업 실험 결과, SEED는 성능과 샘플 효율성을 개선하고 미학습 시나리오에 대한 강력한 일반화 성능을 입증했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.