코드 생성 에이전트 벤치마크 'SWE-Duel' 공개

요약

기존 코딩 벤치마크가 LLM의 학습 데이터 오염 및 성능 포화 문제로 신뢰성을 잃어가고 있는 가운데, 이를 해결하기 위한 'SWE-Duel' 방법론이 제안되었습니다. SWE-Duel은 두 코딩 에이전트가 서로를 상대로 문제를 출제하고 해결하는 대결 구조를 채택하여 정적인 벤치마크의 한계를 극복했습니다. 구체적으로 Red 에이전트가 기능 추가와 함께 숨겨진 버그를 심고, Blue 에이전트가 해당 버그를 인지하지 못한 상태에서 이를 수정하는 PR 리뷰 과정을 거칩니다. 이때 생성된 태스크는 동일한 에이전트가 버그를 해결할 수 있음이 검증되어야 유효한 문제로 인정됩니다. 실무자들은 이 새로운 평가 프레임워크를 통해 코딩 에이전트의 실제 능력을 보다 정확하게 측정할 수 있으며, 관련 리더보드는 sweduel.github.io에서 확인 가능합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.