NVIDIA/MIT 에이전트 하네스 최적화 전략: 토큰 비용 50% 절감하기

요약

NVIDIA와 MIT 연구진은 AI 에이전트가 다른 에이전트의 하네스(도구 호출, 로그 처리 등 주변 시스템)를 직접 최적화하도록 설계하여 효율성을 극대화했다. 500개 환경에서 약 150가지 아이디어를 실험한 결과, 품질 유지를 전제로 비용을 절감하는 4가지 핵심 최적화 방안이 도출되었다. 주요 방법은 파일 수정과 테스트 실행 통합, 비용 효율 기반의 컨텍스트 압축, 10KB 이상의 도구 출력물에 대한 부분 요약 대체, 저렴한 모델을 활용한 로그 요약 등이다. 이 최적화를 통해 토큰 사용량은 약 절반으로 줄었고, API 비용은 3분의 1가량 절감되어 시간당 최대 13.50달러의 비용을 아낄 수 있었다. 다만 Terminal-Bench 기준 해결 과제 수는 18개에서 15개로 소폭 하락했으므로, 성능보다 비용 효율이 중요한 24시간 가동 에이전트에 더 적합하다. 관련 코드는 오픈소스 프로젝트 NVlabs/SoL-Pi를 통해 공개되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.