모델 선택 최적화하는 오픈소스 'ACRouter' 공개…AI 추론 비용 2.6배 절감

요약

기업들이 여러 대형언어모델(LLM)을 혼합하여 사용하는 환경이 확산됨에 따라 적합한 모델을 자동으로 선택하는 '모델 라우팅' 기술이 중요해지고 있다. 싱가포르 국립대와 알리바바 DAMO 아카데미 연구진은 실행 결과를 학습해 스스로 최적화하는 오픈소스 프레임워크 '라우터형 에이전트(Agent-as-a-Router)'와 이를 구현한 'AC라우터(ACRouter)'를 공개했다. 기존의 정적인 라우팅 방식과 달리 ACRouter는 동적 피드백을 통해 모델 선택 과정을 지속적으로 개선한다. 연구진에 따르면 이 기술을 적용할 경우 기존 라우팅 방식 대비 AI 추론 비용을 최대 2.6배 절감할 수 있다. 이번 기술은 복잡한 AI 워크플로우에서 효율성과 경제성을 동시에 높이는 새로운 대안이 될 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.