중요X
DeepSWE 10개 태스크 테스트서 정체불명 모델 80% 기록…GPT-5.6·fable 앞질러
소규모 표본이라 변동성 크지만, 미공개 모델이 기존 상위권 압도한 정황. 출처 확인 후 신중 판단 필요.
요약
X(구 트위터) 사용자 @davis7이 DeepSWE 벤치마크를 활용해 10가지 작업을 수행한 AI 모델 평가 결과를 공개했다. 테스트 결과 gpt-5.6-sol 모델은 52%, fable 모델은 65%의 성공률을 기록했다. 반면, 정확한 모델명이 공개되지 않은 특정 모델은 80% 이상의 높은 성능을 보였다. 작성자는 해당 모델의 뛰어난 결과에 대해 당혹감을 표하며 추가적인 분석이 필요함을 시사했다. DeepSWE는 다양한 AI 모델의 코딩 능력을 측정하는 벤치마크 중 하나로 활용되고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @davis7: I ran this thing through 10 tasks on DeepSWE (so there could be a ton of variance in it's real score, this is a subset), but uh...
원문 보기 ↗