CMU 연구진, AI 에이전트 하네스 최적화 기법 공개

요약

카네기멜론대학(CMU) 연구진이 AI 에이전트의 구동 방식인 'harness(프롬프트, 도구 호출 등 제어 프로그램)'를 재작성하도록 훈련된 소형 모델을 개발해 기존 35B 모델 성능을 능가하는 성과를 거뒀다. 4B 모델이 이전 실행 결과를 분석해 harness를 수정하고 가장 높은 점수의 결과물을 선택하는 방식을 적용한 결과, 보지 못한 작업 유형에서 편집 품질이 0.32에서 0.62로 향상되었다. 특히 5번 연속 수정 시 병렬 실행 결과 대비 우수한 성과를 보였으며, 잘못된 편집 오류율 또한 38%에서 15%로 대폭 감소했다. 핵심 기술은 메인 AI 모델을 변경하지 않고 harness만 최적화하는 방식으로, 실무자는 학습(learn), 점수(score), 최종 확인(final check) 세 단계로 테스트 케이스를 나누어 적용할 수 있다. 이 방식은 에이전트 성능을 개선하려는 개발자들에게 효율적인 5단계 순환 루프를 제공한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.