참고X
AI 탐지기 Pangram, 미학습 데이터 대상 위양성(FPR) 검증 결과 공유
AI 탐지 모델의 신뢰성 검증 사례. 미학습 데이터 기반 테스트로 실제 성능을 증명한 흥미로운 실험입니다.
요약
AI 탐지 도구 Pangram의 오탐률(FPR)이 사전 학습 데이터 암기 결과라는 의구심을 해소하기 위해 약 300만 단어 규모의 미공개 고서 스캔 데이터를 대상으로 검증을 진행했다. 테스트 결과 총 8,000개 세그먼트 중 Pangram이 AI로 탐지한 사례는 없었으며, 기존에 보고된 오탐 사례들은 Mistral OCR이 빈 페이지에 환각(Hallucination) 현상으로 표를 생성하며 발생한 오류로 확인되었다. 이를 통해 Pangram은 사전 학습된 텍스트에 의존하지 않고도 높은 정확도를 유지함을 입증했다. 이번 실험은 Pangram의 1만 분의 1 수준인 오탐률이 실질적으로 유효함을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @max_spero_: People often evaluate Pangram's false positive rate using pre-ChatGPT text. This is where our 1 in 10,000 FPR number comes from. B
원문 보기 ↗