참고팁Reddit
로컬 라우팅 라이브러리 'Prompt Compass' 공개: LLM 비용 68% 절감
0.57MB 초소형 모델로 라우팅 및 보안 필터링을 수행해 API 호출 비용을 획기적으로 줄이는 실무 라이브러리.
요약
기존 LLM 라우팅 방식은 임베딩 라우터, PII 스캐너, 탈옥 탐지기 등을 결합해 모델 크기가 100MB에 달하고 네트워크 홉이 발생해 비용 효율이 낮았다. 이를 해결하기 위해 개발된 'Prompt Compass'는 0.57MB의 초경량 모델로, 단일 CPU 호출에서 5ms 만에 4가지 분류 작업을 수행하여 LLM 운영 비용을 68% 절감했다. 2,022개의 실제 프롬프트를 테스트한 결과 82%의 종합 정확도를 기록했으며, 탈옥 탐지 재현율 87.5%, 정상 프롬프트 오탐률 5% 미만의 성능을 보였다. 특히 Presidio 대비 적대적 PII 탐지 성능이 뛰어나 15가지 난독화 공격에서 100% 탐지율을 기록했다. 다만, 전체 프롬프트의 약 18%에서 잘못된 라우팅이 발생하며 주로 로컬 모델로 처리해야 할 요청이 클라우드로 넘어가는 사례가 보고되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Cut my LLM costs 68% by routing prompts with a 0.57 MB model, benchmarks, and where it loses
원문 보기 ↗