"벤치마크 점수보단 코드 품질": 최신 코딩 평가 지표의 한계 지적

요약

최근 X의 @NickADobos는 AI 코딩 모델이 작성한 코드의 품질을 평가하는 'anti-slop coding evals'의 부재를 지적했다. 현재 Claude와 같은 AI 모델이 frontierSWE 등의 벤치마크에서 70% 수준의 높은 점수를 기록하고 있으나, 실제 실무에서는 불필요한 테스트 코드를 대량으로 생성하는 문제가 발생하고 있다. 개발자의 관점에서는 이러한 '쓰레기 코드(bullshit tests)'가 포함된 결과물은 코드 리뷰를 통과할 수 없으며, 오히려 사람이 직접 검토하고 수정해야 하는 추가 업무를 발생시킨다. 따라서 AI의 단순한 성공률 수치보다는 실제 운영 환경에 적합한 수준의 코드를 작성하는지 판단하는 평가 기준이 필요하다는 목소리가 나오고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.