참고Reddit
SWE-Race: 동시성 버그 탐지 특화 코딩 에이전트 벤치마크 공개
실제 파이썬 프로젝트의 병렬 처리 버그를 해결하는 에이전트 능력을 정량 평가 가능. 모델의 코딩 에이전트 성능 검증 시 참고.
요약
SWE-Race는 약 100개의 파이썬 프로젝트에서 추출한 188개의 실제 동시성 버그(경합 조건, 데드락, 취소 문제 등)를 다루는 새로운 코딩 에이전트 벤치마크이다. 각 작업은 외부 네트워크가 차단된 컨테이너 환경에서 실행되며, 모델이 git 기록을 통해 해결책을 얻지 못하도록 단일 커밋으로 제한된 상태에서 검증이 진행된다. 성능 평가 결과, GLM-5.3 Flash는 1회 시도 시 85%의 정답률을 기록하며 뛰어난 성능을 보였다. 또한 2~3회 시도 시에는 82%의 점수를 기록하여 GPT-5.6 Luna의 81%와 오차 범위 내에서 유사한 성능을 나타냈다. 리더보드에는 모델별 시도 횟수와 점수 구간이 상세히 공개되어 있어 코딩 에이전트의 실질적인 문제 해결 능력을 비교할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 SWE-Race: a coding-agent benchmark of 188 real concurrency bugs, with results from three models [P]
원문 보기 ↗