CPU에서 1.5ms 만에 작동하는 경량 할루시네이션 탐지 도구 'Spanda' 공개

요약

최근 한 개발자가 기존 Semantic Entropy 방식의 높은 지연 시간과 GPU 자원 소모 문제를 해결하기 위해 오픈소스 할루시네이션 탐지 도구인 Spanda를 공개했다. Spanda는 대규모 언어 모델의 복잡한 추론 과정 대신, K개의 출력을 샘플링하여 정규화된 어휘 합의 비율(Rsc)을 계산하는 경량화된 방식을 채택했다. 이를 통해 DeBERTa 모델 대비 9만 배 빠른 1.5ms 수준의 CPU 처리 속도를 구현하며, 추가적인 API 비용이나 GPU VRAM 없이 운영이 가능하다. Spanda는 GSM8K와 같은 수학 및 추론 태스크에서 0.889 AUROC의 높은 정확도를 기록했다. 해당 도구는 파이썬 기반의 제로 의존성 라이브러리로 구성되어 프로덕션 환경에서의 할루시네이션 탐지 효율성을 크게 높일 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.