참고팁Reddit
에이전트 하네스 최적화로 토큰 사용량 절반으로 줄이기
같은 Gemini(제미나이) 모델을 써도 하네스 설계에 따라 토큰 비용이 2배 차이남. 프레임워크 오버헤드 점검 필요.
요약
에이전트 벤치마크 시 모델 성능뿐만 아니라 에이전트 프레임워크(harness)가 토큰 비용에 미치는 영향이 매우 크다는 분석이 제기되었습니다. 연구진이 동일한 'gemini-1.5-flash' 모델을 사용하여 'pi-coding-agent'와 자체 제작한 프로덕션 메시징 프레임워크를 비교한 결과, 후자가 토큰 사용량을 절반으로 줄였습니다. 'pi-coding-agent'는 총 248,755개의 토큰을 소모한 반면, 자체 프레임워크는 120,857개의 토큰으로 동일한 작업을 완료했습니다. 이러한 성능 차이의 주된 원인은 프레임워크별로 초기 세션에 주입되는 기본 지침 및 도구 상용구(boilerplate)의 양 차이에서 발생했습니다. 따라서 개발자는 에이전트 프레임워크 선택 시 운영 효율성과 불필요한 토큰 낭비를 최소화하는 구조인지 면밀히 검토해야 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Benchmarking two agent harnesses on the exact same Gemini model cut token usage in half
원문 보기 ↗