중요팁X
실제 코드 버그 수정 테스트: Fable 5.2(페이블 5.2)가 Sonnet 5.5(소넷 5.5)·GPT-6(지피티 6) 능가
Fable 5.2(페이블 5.2)가 105개 버그 중 58개 수정·턴 절반으로 Sonnet(소넷) 앞서. 코딩 에이전트 선정 시 참고.
요약
AI 모델 평가자 Pawel Huryn이 실제 리포지토리 2곳에서 발생한 105개의 버그를 대상으로 Fable 5.2의 성능을 테스트한 결과, 58개의 버그를 해결하며 가장 높은 성과를 기록했다. Fable 5.2는 139.65달러의 비용으로 Sonnet 5.5(51.3개, 154.03달러)보다 더 많은 버그를 더 적은 비용과 적은 턴 수로 처리했다. 뒤를 이어 GPT-6 Astra(45개, 33.03달러), GPT-6.1 Sol(44.3개, 5.88달러) 순으로 나타났다. 이번 테스트는 2026년 초 최신 모델들이 놓쳤던 실제 버그를 복원하여 진행되었으며, '거의 해결됨'이나 미신고 버그는 제외하고 완전히 수정된 사례만 카운트했다. Fable 5.2는 3회 테스트 평균 56.6개의 수정 성능을 보여주며 Sonnet 5.5를 압도했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @PawelHuryn: So I tested Fable 5.2 on real work. 2 repos, 105 bugs. Find and fix what you can. The results: - Fable 5.2 (max): 58 for $139.65 -
원문 보기 ↗