참고Reddit
프롬프트 인젝션 탐지 API, 실무자들은 어떤 성능을 기대할까?
보안 API의 접근성과 비용 문제를 제기하며, CPU 기반의 효율적 스캔 기능을 갖춘 보안 도구 개발 방향성 논의.
요약
Patronus의 Ben이 기존 프롬프트 인젝션 및 LLM 보안 API의 폐쇄적인 운영 방식과 높은 비용 구조에 문제를 제기하며 새로운 API 구축을 계획 중이다. 그는 많은 보안 API가 '영업 문의'를 통해서만 접근 가능하거나 토큰당 과금 방식을 채택하고 있어 개발 환경에서의 도입이 어렵다고 지적했다. 대안으로 제시된 API는 텍스트, 파일, URL을 지원하며 6 vCPU 환경에서 3MB/s 수준의 처리 속도를 확보해 비용 효율성을 높였다. 특히 개발자가 보안 검사를 주저하지 않도록 하루 1,000건의 무료 요청량을 제공할 예정이다. 현재 CPU 기반의 경량화된 보안 API 모델에 대한 커뮤니티의 의견을 수렴하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 What would you expect from a prompt injection detection API?
원문 보기 ↗