참고팁X
Glean, 라우팅 최적화로 Claude 대비 토큰 비용 81% 절감
라우팅 아키텍처 개선을 통해 모델 비용을 획기적으로 줄인 벤치마크 사례입니다. API 기반 서비스를 구축 중인 개발자가 참조할 만한 아키텍처 통찰을 제공합니다.
요약
Glean이 Claude Cowork와 자사의 자동 라우팅 시스템을 180개의 기업용 태스크로 비교한 벤치마크 결과를 발표했다. 분석 결과, Glean의 시스템은 Claude Sonnet 3.5 대비 토큰 비용을 81% 절감했으며, 선호 답변 승률은 78%를 기록했다. 평균 태스크 비용은 2.98달러에서 0.58달러로 대폭 감소했다. Claude Cowork의 경우 연합형 MCP 검색이 불필요한 데이터를 과도하게 불러오는 문제가 있으나, Glean은 사전 인덱싱과 샌드박싱 도구 출력 방식을 통해 토큰 낭비를 차단한다. 이번 결과는 프런티어 모델을 효율적으로 운용하기 위해서는 별도의 라우팅 레이어 설계가 필수적임을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: 🚨 @GLEAN JUST PUBLISHED A EYE-OPENING BENCHMARK VS CLAUDE COWORK It proves frontier models are too expensive to run without a ded
원문 보기 ↗