에이전트 성능 최적화: 수동 프롬프팅을 넘어선 자동화 루프 전략

요약

AI 에이전트 튜닝의 핵심은 프롬프트, 도구, 제어 흐름을 수동으로 수정하고 평가하는 과정이었으나, 최근 이를 자동화하려는 연구가 활발하다. 대표적인 최적화 도구로 시스템 텍스트를 최적화하는 Berkeley의 GEPA, 코딩 에이전트가 프로그램을 반복 수정하는 AutoResearch, 스캐폴딩 코드를 개선하는 Meta-Harness가 있다. Frontier-CS 벤치마크 실험 결과, 단일 최적화 도구만으로는 모든 작업에서 우위를 점하지 못하며 각 도구는 특정 반복 이후 성능이 정체되는 한계를 보였다. 그러나 서로 다른 최적화 도구를 순차적으로 교차 사용하는 방식은 정체 구간을 돌파하여 성능을 높이는 것으로 나타났다. 오픈소스 프로젝트인 omni는 이러한 최적화 도구들을 조합하여 자동으로 실행하며, 단일 최적화 도구 대비 7.8%p 높은 점수를 기록하고 더 빠른 속도로 작업을 완료한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.