에이전트 워크플로우, 실시간 연쇄 호출보다 계획 선수립이 효율적
ReAct 방식보다 계획 수립 후 실행하는 'Plan-once' 방식이 LLM 호출 비용 절감.
요약
UNC Chapel Hill과 Workato 연구진이 발표한 'AgentOrch' 논문은 에이전트의 워크플로우 실행 방식을 비교 분석했다. 기존의 ReAct 방식은 매 단계마다 LLM을 호출하는 반면, 'plan-once' 방식은 전체 워크플로우를 한 번에 설계한 뒤 LLM 호출 없이 실행한다. 650개의 실제 Workato 자동화 레시피와 3,220개의 입력 변수를 시뮬레이터로 테스트한 결과, plan-once 방식은 ReAct 방식보다 8.5점 뒤처지지만 LLM 호출 횟수는 18배 적었다. 이번 실험은 시뮬레이터와 실제 커넥터 간 98.54%의 정확도를 보이며, Slack, Jira, Salesforce, Snowflake 등 64개 도구 인터페이스를 활용해 진행되었다. 효율적인 에이전트 구축을 고민하는 실무자들에게 LLM 호출 비용 절감과 성능 간의 균형점을 제시하는 연구로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Writing the whole workflow up front now trails a step-by-step agent by 8.5 points, with 18x fewer LLM calls: notes on “AgentOrch” (UNC Chapel Hill + Workato)
원문 보기 ↗