로컬 CPU 구동형 AI 에이전트 스킬 라우터 'Routed' 공개

요약

AI 에이전트 워크플로우에서 발생하는 라우팅 문제를 해결하기 위해 로컬 우선 하이브리드 라우터인 'Routed'가 공개되었다. 기존 방식은 시스템 프롬프트에 스킬을 모두 넣거나 LLM 라우터를 사용해 비용과 지연 시간이 발생하는 문제가 있었다. MIT 라이선스로 제공되는 Routed는 100% 오프라인 CPU 환경에서 구동되며, 20ms 미만의 응답 속도를 구현했다. 이 라우터는 설치된 스킬 디렉토리를 인덱싱하여 4단계 하이브리드 스코어링 파이프라인을 통해 프롬프트를 평가하는 방식으로 작동한다. 별도의 토큰 소모 없이 효율적으로 스킬을 분류할 수 있어 AI 에이전트 개발자의 작업 효율을 높여줄 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.