Gemma 4 기반 하이브리드 라우팅 기법: 신뢰도 점수(Confidence Score)로 API 비용 최적화

요약

Cactus는 온디바이스 모델의 효율성과 클라우드 모델의 정확도를 결합한 하이브리드 모델인 'Gemma 4 E2B'를 공개했다. 이 모델은 답변마다 0에서 1 사이의 신뢰도 점수를 생성하여, 점수가 낮을 경우 자동으로 대형 클라우드 모델로 작업을 전환할 수 있도록 설계되었다. 개발자는 이를 통해 15~35%의 쿼리만 Gemini 3.1 Flash-Lite로 라우팅하여 비용을 최적화하면서도 준수한 성능을 유지할 수 있다. 실제 벤치마크 결과, MMLU-Pro에서는 45~55%, MMBench 등에서는 30~35%의 라우팅 비율로 Gemini 3.1 Flash-Lite와 대등한 성능을 보였다. 기존의 불확실한 텍스트 기반 자가 평가나 토큰 엔트로피 방식 대신, 모델 자체에 오류 인지 능력을 학습시켜 라우팅의 정확성을 높인 것이 핵심이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.