참고Reddit
커뮤니티 벤치마크: Gemini 4(제미나이 4), GPT-6(지피티 6), Claude 5(클로드 5) 단어 연상 능력 비교
사용자 주도의 LLM 추론 능력 비교 데이터. 모델 선택 및 성능 평가 시 참고할 만한 흥미로운 지표.
요약
최근 1,300개 이상의 단어 연상(word-association) 힌트를 기반으로 한 AI 모델 벤치마크 실험 결과, Google의 Gemini 모델들이 가장 우수한 성능을 기록했다. 모델별 평균 힌트 등급은 Gemini 4 Argon이 67점으로 1위를 차지했으며, 뒤이어 Gemini 3.8 Flash와 GPT-6.1 Terra가 각각 64.5점과 64점으로 상위권을 형성했다. Anthropic의 Claude 시리즈는 Opus 5.5 모델이 58점을 기록하며 비교군 중 상대적으로 낮은 점수를 보였다. 특히 오답을 선택하거나 상대 팀의 단어를 맞히는 오류 확률에서도 Gemini는 0~0.5%로 가장 낮았고, GPT-6(0.8~1.9%)와 Claude(1.7~6%) 순으로 나타났다. 보급형 모델 비교에서도 GPT-6 Luna가 Claude Haiku를 앞서는 등 전반적으로 Google과 OpenAI 모델이 Anthropic 모델보다 뛰어난 추론 능력을 보였다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Graded 1,300+ word-association clues: Google's models beat OpenAI's, and both beat Anthropic's
원문 보기 ↗