참고팁Reddit
SWE-Pair 벤치마크 공개: 복합 버그 해결 능력을 갖춘 코딩 모델 평가
단순 버그가 아닌 2개 동시 수정 능력을 평가하며, DeepSeek V4.1(딥시크 V4.1) Flash가 비용 대비 가장 우수한 성능 입증.
요약
SWE-Pair은 69개 파이썬 프로젝트에서 추출한 161개의 작업을 통해 코딩 에이전트의 성능을 평가하는 새로운 벤치마크로, 에이전트가 동시에 두 개의 실제 버그를 해결해야 하는 난이도 높은 과제를 제공한다. 실험 결과 DeepSeek V4.1 Flash(Medium effort)가 90%의 과제 해결률을 보이며 가장 뛰어난 가성비인 과제당 약 6센트의 비용 효율을 기록했다. 반면 GPT-6 Luna(Max effort)는 78%의 해결률을 기록하며 23센트의 비용이 발생했다. 흥미로운 점은 모델에 더 많은 추론을 요구한 Max effort 설정이 오히려 해결률을 낮추거나 비용만 상승시키는 결과를 초래했다. 개발자는 Harbor 명령어를 통해 자신의 에이전트를 직접 테스트할 수 있으며, 관련 데이터셋과 결과는 Hugging Face와 Evaligo 공식 웹사이트에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 SWE-Pair: a coding-agent benchmark where every task is two real bugs to fix at once, with results from four models [P]
원문 보기 ↗