멀티 에이전트 협업 역량 평가 벤치마크 'Alem' 공개

요약

AI 에이전트 간의 장기적이고 개방적인 협업 능력을 평가하는 새로운 벤치마크가 공개되었다. 연구진은 13개의 최신 LLM을 대상으로 자원 거래, 도구 제작, 구조물 건설 등의 협업 과제를 수행하게 한 결과, 대부분의 모델이 평균 약 6%의 정규화된 수익률을 기록하며 어려움을 겪는 것으로 나타났다. 하지만 가장 난도가 높은 설정에서 제로샷(zero-shot) 상태의 Gemini 3.1 Pro는 10억 번의 환경 학습을 거친 최고의 멀티 에이전트 강화학습(MARL) 에이전트와 대등한 성과를 보였다. 분석 결과, 긴 호흡의 과제 수행 능력과는 별개로 '협업' 자체가 에이전트 성능의 뚜렷한 병목 현상으로 작용했으며, 특히 커뮤니케이션 능력이 성능에 가장 큰 영향을 미치는 요소임이 확인되었다. 상세 내용은 논문과 깃허브, 프로젝트 페이지를 통해 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.