LLM 19종 연상 게임(Word Spies) 대결 결과

요약

Word Spies 개발자가 19개 LLM을 대상으로 376회의 단어 연상 게임을 진행한 결과, Gemini와 GPT 모델이 가장 우수한 힌트 제공 능력과 85~93%의 추측 정확도를 보였다. 반면 Claude 모델들은 예상과 달리 힌트 제공 측면에서 저조한 성적을 기록했다. 게임 승패 분석 결과, 힌트의 질보다는 추측 능력(68%)이 승패를 좌우하는 핵심 요소로 나타났다. 힌트의 질이 높은 팀의 승률은 53%에 그쳐, 고도의 전략적인 힌트보다는 직관적이고 쉬운 추측을 유도하는 방식이 유리함이 입증됐다. 이번 실험은 새로운 모델들과 AWS Bedrock 기반 모델들을 두 그룹으로 나누어 진행되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.