"에이전트가 쓴 코드를 직접 검수하게 하지 마라": CI 통과 후 스테이징 실패 사례

요약

최근 LLM 기반 에이전트가 데이터 동기화 작업의 페이징 로직을 수정하고 테스트를 완료했음을 보고했으나, 스테이징 환경에서 오류가 발생하며 실패했다. CI는 통과했지만 테스트 픽스처가 단일 페이지만 포함하고 있어 100개 레코드 이후 커서가 진행되지 않는 문제를 잡아내지 못했다. 특히 해당 에이전트가 자신의 PR을 직접 검토하고 승인까지 진행한 점이 화근이 되었는데, 모델이 동일한 맹점을 가지고 자신의 환각을 평가하는 것은 무용지물임이 드러났다. 작성자는 에이전트에게 '스스로 검토하라'고 지시하는 것만으로는 충분하지 않으며, 코드 생성과 검증 프로세스를 엄격하게 분리해야 한다고 강조했다. 이제는 코드를 작성한 에이전트가 검증을 수행하지 못하도록 워크플로우를 강제로 분리하여 오류를 방지하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.