에이전트 학습의 한계 돌파: 다중 세션 강화학습 방법론 'Mosaic' 공개

요약

기존의 에이전트 강화학습은 단일 세션 궤적만을 가정하지만, 컨텍스트 압축이나 서브 에이전트 포킹 기술을 활용하면 여러 세션에 걸친 궤적이 생성되어 학습과 추론 간의 불일치가 발생한다. 이를 해결하기 위해 궤적 내 임의의 세션 수를 지원하는 멀티 세션 에이전트 강화학습(Multi-Session Agentic RL) 환경이 제안되었다. 기존의 방식인 전체 세션에 이득(advantage)을 일괄 적용하는 방식은 세션별 기여도를 구분하지 못하는 한계가 있다. 이를 보완하고자 크리틱 없는 계층적 최적화 방법인 Mosaic이 개발되었으며, 이는 궤적 수준에서 세션 사용 신호를 반영하고 세션 수준에서 한계 기여도를 추정하여 각 세션의 이득을 형성한다. Qwen3.5-4B를 사용한 BrowseComp 실험 결과, Mosaic은 컨텍스트 압축 및 서브 에이전트 포킹 시나리오 모두에서 기존 방식보다 적은 세션을 사용하면서도 더 뛰어난 성능을 보였다. 이번 연구는 멀티 세션 에이전트 강화학습에서 세션 유틸리티와 할당 최적화가 중요한 발전 방향임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.