강화학습을 위한 오픈소스 '클래시 로얄' 시뮬레이터 공개

요약

최근 Reddit에서 주목받는 'ClashRoyaleAi'는 강화학습(RL)을 위한 오픈소스 결정론적 클래시 로얄 시뮬레이터로, C++로 구현되어 Python 바인딩을 지원합니다. 이 시뮬레이터는 단일 노트북 코어에서 전체 경기를 약 10ms 만에 처리하며, 마이크로초 단위로 게임 상태를 복제할 수 있어 효율적인 룩어헤드(lookahead) 탐색이 가능합니다. 에이전트는 recurrent PPO 알고리즘과 1초마다 10초 앞을 내다보는 시뮬레이션 방식을 활용해 전략을 학습하며, 건물 유지 비용 관련 보상 체계의 허점을 찾아내는 등 독특한 플레이 패턴을 보이기도 했습니다. 실제로 간단한 1-ply 룩어헤드를 적용했을 때 휴리스틱 봇 대비 승률이 기존 0.625에서 0.944로 크게 향상되었습니다. 이를 정책 네트워크에 증류했을 때는 0.045의 승률 상승을 유지하는 결과를 보였습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.