구글, 29개 AI 에이전트 활용해 인과 추론 벤치마크 데이터셋 구축

요약

Google Research가 29개의 AI 에이전트를 활용해 11.5시간 만에 13개의 공개 데이터를 기반으로 50개 과제 규모의 인과 추론(causal reasoning) 벤치마크를 구축했다. 해당 벤치마크는 모델이 데이터로부터 인과 효과를 식별할 수 있는지 판단하고, 식별 가능한 경우 알려진 정답과 비교해 효과를 추정하도록 설계되었다. 특히 Google은 모델이 논리적 추론 없이 문구의 패턴이나 지름길을 통해 정답을 도출하는 문제를 방지하기 위해 별도의 리뷰어와 감사자가 이를 검증하는 과정을 거쳤다. 발견된 취약점은 향후 모델 평가를 위한 테스트 케이스로 전환되어 데이터 품질을 높이는 데 활용되었다. 이번 사례는 AI 에이전트를 활용한 데이터셋 자동 구축 과정에서 인간의 교차 검증과 오염 방지 프로세스가 필수적임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.