참고X
Gemini 4(제미나이 4) Carbon, 실무 버그 수정 작업에서 Fable 5.2(페이블 5.2)와 대등한 성능 기록
코드 수정 작업 벤치마크 결과 Gemini 4(제미나이 4) Carbon이 Fable 5.2(페이블 5.2) 대비 가성비 높은 성능 확인. API 선택 시 고려할 실무 데이터.
요약
X 사용자인 Pawel Huryn이 2개의 저장소와 105개의 재현된 버그를 대상으로 Gemini 4 Carbon 모델의 실무 성능을 테스트했다. 테스트 결과, Gemini 4 Carbon(high)은 57.3점으로 Fable 5.2(58점)에 이어 2위를 기록하며 구글의 벤치마크 성능이 실제와 일치함을 입증했다. 특히 비용 측면에서 Gemini 4 Carbon은 31.32달러로, 139.65달러가 소요된 Fable 5.2 대비 4분의 1 미만의 비용으로 유사한 성능을 보였다. 다른 모델들의 결과는 Sonnet 5.5(max) 51.3점, GPT-6 Astra(max) 45점, GPT-6.1 Sol(max) 44.3점, Gemini 4 Argon(high) 40.7점으로 나타났다. 이번 평가는 2026년 초 프런티어 모델들이 놓쳤던 실제 버그들을 대상으로 진행되었으며, 오직 수정된 버그만을 점수로 산정했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @PawelHuryn: What a day! I tested Gemini 4 Carbon on real work. 2 repos, 105 replanted bugs. Find and fix what you can. It scores just behind F
원문 보기 ↗