OpenAI(오픈AI) 모더레이션 엔드포인트의 한계: 변조된 비속어 69% 필터링 실패

요약

많은 챗봇 서비스가 욕설 필터링을 위해 OpenAI의 'omni-moderation-latest' 엔드포인트를 사용하지만, 실제 테스트 결과 위장된 욕설을 걸러내는 데 한계가 있는 것으로 나타났다. 6,500개의 변형된 욕설(leetspeak, 글자 사이 점 삽입 등)을 대상으로 실험한 결과, OpenAI 모델이 이를 탐지한 비율은 30.8%에 불과해 약 69%의 욕설이 통과됐다. 반면 무해한 텍스트가 부적절하다고 판단되는 오탐률은 3.2%였으며, 호출당 평균 처리 시간은 820ms로 측정되었다. 해당 엔드포인트는 본래 괴롭힘, 자해, 폭력 등 심각한 유해성을 탐지하기 위한 것이지 단순 욕설 필터링용으로 설계된 것은 아니다. 따라서 어린이를 대상으로 하거나 언어 규제가 엄격한 서비스를 운영 중이라면, 단순히 OpenAI 모더레이션 API에만 의존해서는 안 된다는 지적이 나온다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.