참고X
Gemini 4(제미나이 4) Neon, 실무 코드 버그 수정 벤치마크 1위 기록
코드 베이스 기반 벤치마크에서 기존 모델 대비 우수한 성능을 보여, 복잡한 코딩 작업 시 교체 고려 대상.
요약
X(구 트위터) 사용자 @PawelHuryn이 진행한 실무 코드 리포지토리 테스트에서 구글의 Gemini 4 Neon(xhigh) 모델이 105개의 버그 중 가장 높은 수정 성공률인 63점을 기록하며 1위를 차지했다. 뒤를 이어 GPT-6.2 Astra(max)가 62.7점, GPT-6.2 Astra(xhigh)가 60.2점 순으로 나타났다. 이번 테스트는 2026년 초 당시 최신 모델들이 해결하지 못했던 실제 리포지토리 내 버그들을 대상으로 진행되었으며, 오직 완전히 수정된 버그만을 점수로 인정했다. 공정성을 위해 모든 모델은 Grok 4.7을 통해 블라인드 평가를 받았으며, 자사 모델이 스스로 평가하지 않도록 설계했다. Gemini 4 Neon의 비용은 100만 토큰당 입력 3달러, 출력 15달러로 책정되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @PawelHuryn: Google cooked. I tested Gemini 4 Neon on real work. 2 repos, 105 replanted bugs. Find and fix what you can. It's the new #1. The r
원문 보기 ↗