에이전트가 스스로 코드 harness를 수정하게 만드는 방법
실패한 실행 로그를 분석해 1회 1파일씩 수정하는 루프를 구성하여 에이전트 성공률을 5%에서 40%로 개선한 실무 사례.
요약
구글 엔지니어들이 에이전트가 스스로 하네스(harness) 코드를 개선하여 작업 성공률을 5%에서 40%로 높이고 토큰 사용량은 2.5배 절감한 사례를 공유했다. 이 방식은 메모리, 루프, 도구, 검사 등 4개 파일로 구성된 142라인 규모의 하네스를 기반으로, 별도의 모델이 실패한 로그를 분석해 각 파일을 단계별로 수정한다. 수정된 코드는 보지 못한 작업에서 성능이 향상되거나 토큰 제한을 준수할 때만 반영되며, 전체를 한 번에 재작성하는 것보다 효율적이고 안정적이다. 결과적으로 에이전트는 기존 대화를 요약하고, 긴 터미널 출력을 자르고, 코드 변경 없이 종료하지 않으며, 컴파일과 테스트 통과 후에만 작업을 완료하도록 스스로 개선되었다. 개발자는 이 방식을 통해 기존 에이전트의 하네스를 소규모 파일로 분할하고, 실패 로그를 활용해 성능을 반복적으로 최적화할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @undefinedKi: Two Google engineers just shared their setup that lets an agent fix its own harness. It went from solving 5% of tasks to 40% while
원문 보기 ↗