LLM 21종 코드 리뷰 성능 벤치마크: 추론 강화가 항상 정답은 아니다

요약

최근 21개 LLM을 대상으로 도구 없이 코드 리뷰 성능을 벤치마킹한 결과가 공개되었다. Martian의 Code Review Bench(50개 실제 PR 포함)를 활용해 총 7,980건의 리뷰를 수행한 이번 테스트에서 추론 노력을 높일수록 18개 모델 중 13개는 재현율(recall)이 향상되었으나, 11개 모델은 정밀도(precision)가 오히려 감소했다. 특히 최상위 성능 모델들의 경우, 추론 과정을 늘려도 전체 F2 점수에는 큰 개선이 나타나지 않았다. 또한 벤치마크상 오탐지(false positive)로 분류된 48개 결과 중 13개는 실제로는 정답지에 누락된 유효한 이슈로 확인되었다. 연구진은 이번 실험을 통해 코드 리뷰 환경에서 모델의 과도한 추론이 오히려 부정확한 결과를 초래할 수 있음을 시사했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.