JetBrains(젯브레인즈) 연구진, "기존 코딩 에이전트 벤치마크는 사용자 작업 흐름을 반영해야"
기존 벤치마크는 실제 에이전트의 다중 턴 작업 흐름을 제대로 반영하지 못함. 에이전트 성능 평가 시 실제 사용자 패턴을 반영한 워크플로우 도입 필요.
요약
JetBrains Research의 최신 논문은 코딩 에이전트 벤치마크가 실제 사용자 업무 방식과 다르게 설계되어 있다는 점을 지적했습니다. 기존 SWE-Bench Pro는 하나의 이슈를 주고 최종 패치만 평가하지만, 실제 개발자는 질문, 계획, 리뷰, 수정 등 다양한 작업을 세션 내에서 빈번하게 전환하며 수행합니다. JetBrains가 실제 에이전트 세션 4,782건을 분석한 결과, 기능 구현과 버그 수정 비중은 50% 미만이었으며 긴 세션일수록 작업 전환이 활발하게 일어났습니다. 연구진은 이를 반영해 이슈를 여러 턴으로 나누고 중간 질문을 포함한 'SWE-TaskFlow'를 제안했습니다. 700개의 SWE-Bench Pro 태스크를 대상으로 실험한 결과, 태스크를 세분화해도 성공률은 유의미하게 변하지 않았으나 에이전트 비용은 약 2배 증가했습니다. 코딩 에이전트를 평가할 때는 실제 사용자의 요구사항을 먼저 파악하고 그에 맞춰 벤치마크의 대화 흐름을 구성해야 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @CodeswithClara: New JetBrains Research paper argues that coding-agent benchmarks should copy how their real users actually work, because real sess
원문 보기 ↗