코드 과잉 설계 및 기술 부채 측정 오픈소스 벤치마크 공개

요약

최근 한 개발자가 기존 벤치마크의 한계인 과도한 코드 생성이나 기술 부채를 평가할 수 있는 오픈소스 벤치마크를 공개했다. 기존 DeepSWE, SWE-bench Verified, SWE-bench Live와 같은 벤치마크가 해결률이나 토큰 비용에만 집중했다면, 이번 도구는 코드의 복잡성을 측정하여 유지보수가 어려운 코드를 식별하는 데 중점을 둔다. 코드 줄 수 대신 문법 요소, 호출, 이름, 리터럴 등을 포함한 '코딩 단위(coding units)'를 계산하며 삭제된 코드까지 고려해 순수 증가분을 측정한다. 현재 GPT-4o나 Claude 3.5 Sonnet 등 주요 모델에 대한 평가 데이터를 제공하고 있으며, 추후 더 많은 모델의 기여와 피드백을 수집할 계획이다. 장기적인 프로젝트 관리와 코드 품질 향상을 고려하는 LLM 개발자들에게 유용한 지표가 될 것으로 보인다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.