코딩 에이전트 테스트: 단일 파일보다 다중 파일 환경이 필수인 이유

요약

Reddit의 r/LLMDevs 커뮤니티에서 4개 모델을 대상으로 2개 파일에 걸친 코드 수정 성능을 테스트한 결과, 모든 모델이 보고된 버그를 수정했으나 3건의 시도에서 다른 테스트 항목이 실패하는 회귀 현상이 발생했습니다. 이번 테스트는 모델이 트레이스백(traceback)을 읽고 해당 라인만 수정하여 증상을 해결했으나, 미처 확인하지 못한 연관 테스트에서 오류를 일으키는 전형적인 '수정의 부작용'을 보여주었습니다. 단일 파일 수정 작업에서는 이러한 다층적인 오류를 발견하기 어렵지만, 2개 이상의 파일이 연관된 작업에서는 모델의 근시안적인 코드 패치 방식을 확인할 수 있었습니다. 이번 실험은 모델이 눈앞의 문제 해결에만 집중할 경우 발생할 수 있는 잠재적 리스크를 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.