스타크래프트 봇 구현으로 본 LLM 추론 능력 벤치마크 'StarSkirmish v0.2'

요약

StarSkirmish Bench v0.2는 1시간 동안 LLM이 작성한 스타크래프트 봇의 성능을 승률로 평가하는 벤치마크 모델이다. 이번 평가에서 GPT-6 Astra가 가장 높은 점수를 기록하며 1위를 차지했고, GPT-6.1 Sol이 그 뒤를 이었다. Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점대로 비슷한 성능을 보였다. 특히 GPT-6.1 Sol은 GPT-6 Astra 비용의 10분의 1 수준으로 높은 가성비를 증명했다. 그러나 최상위권인 Stardust, PurpleWave, BananaBrain 등 사람이 직접 작성한 봇과 비교했을 때, 최고의 모델인 GPT-6 Astra조차 승률이 7%에 그쳐 아직 격차가 존재한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.