OpenAI(오픈AI)의 콘텐츠 필터링 'daybreak' 동작 원리 및 밴 사례 분석

요약

X 사용자 @log4j가 자신의 OpenAI 계정 정지 사유와 관련하여 대규모 언어 모델의 안전 가이드라인인 'Daybreak'의 작동 방식을 분석한 내용을 공유했다. 연구자에 따르면, 정상적인 리버스 엔지니어링 용어를 직접 사용할 경우 Daybreak가 이를 멀웨어 개발로 오인해 횟수가 누적되면 계정이 차단되는 문제가 발생한다. 반면 우회적인 표현이나 은유를 사용하는 사용자들은 이러한 제약을 피하는 역설적인 상황이 벌어지고 있다. 연구자는 시스템이 단편적인 키워드 필터링이 아닌 전체 문맥과 의도를 파악하는 방향으로 개선되어야 한다고 지적했다. 현재는 오탐으로 인한 계정 정지 위험을 피하기 위해 오픈 웨이트 모델 사용을 고려하고 있으며, 개발자들에게도 안정적인 작업 환경 확보를 위한 대비를 권고했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.