엔비디아, 에이전트 비용 74% 낮추는 오픈소스 라우터 '네모 스위치야드' 공개

요약

엔비디아가 AI 에이전트의 효율적인 모델 운영을 돕는 오픈소스 라우팅 라이브러리 '네모 스위치야드(NeMo Switchyard)'를 11일(현지시간) 공개했다. 이 기술은 작업의 복잡도에 따라 고성능 모델과 저비용 모델을 유연하게 배분하여 에이전트 운영 비용을 최대 74%까지 절감할 수 있다. 스위치야드는 단순히 요청 내용뿐 아니라 모델 상태, 작업 진행 상황, 비용, 지연 시간, 토큰 사용량 등을 실시간으로 종합 분석한다. 이를 통해 각 작업 단계에서 최적의 성능과 비용 효율성을 갖춘 모델을 자동으로 선택하여 연결한다. 이번 기술은 복잡한 추론과 대량 반복 작업을 동시에 처리해야 하는 AI 에이전트의 처리 효율을 개선하는 데 핵심적인 역할을 할 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.