코딩 에이전트의 16년 묵은 버그 해결 능력 테스트: 프롬프트 스타일에 따른 성능 비교

요약

최근 16년간 Flask에 방치되었던 템플릿 확장자 대소문자 구분 오류(page.HTML 파일의 자동 이스케이프 누락 문제)를 대상으로 코딩 에이전트의 성능을 테스트한 사례가 공유되었습니다. 실험자는 해당 버그를 복구한 환경에서 3가지 프롬프트 스타일(상세 버그 리포트, 제약 조건 포함 리포트, 모호한 요청)로 각각 3회씩 총 9번의 실험을 진행했습니다. 실험 결과, Git 히스토리가 포함된 코드베이스에서 모호한 요청을 수행한 에이전트는 올바른 수정안을 제시하지 못하거나 부적절한 결과를 내놓는 경우가 발생했습니다. 이 실험은 에이전트의 프롬프트 구성 방식과 코드 문맥 이해도가 실제 디버깅 결과에 큰 영향을 미친다는 점을 시사합니다. 향후 자동화된 코딩 에이전트를 실무에 도입할 때 프롬프트 정교화와 검증 과정의 중요성이 다시 한번 확인되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.