참고X
Anthropic(앤트로픽)의 과도한 안전성 검열에 대한 개발자 피로감 확산
Claude(클로드)의 잦은 거절(Refusal) 현상에 대한 개발자들의 신뢰도 이슈 제기. 서비스 기획 시 모델별 거절 확률 고려 필요.
요약
Anthropic의 과도한 안전 정책이 AI 활용성을 저해하고 있다는 비판이 제기되었다. 사용자는 Claude가 1890년대 배경의 SF 소설 속 콜레라 무기화 논의를 차단하는 등 생물 무기 외의 일반적인 주제에서도 지나치게 엄격하게 반응하고 있다고 지적했다. 생물 무기나 재귀적 자기 개선과 같은 중대 위험 요소에는 강력한 안전 조치가 필요하지만, 게임 개발이나 선거 조사 등 일상적 영역까지 검열하는 것은 오히려 신뢰도를 떨어뜨린다는 주장이다. Anthropic이 안전 정책의 우선순위를 재조정하여 핵심 위험 요소에만 집중해야 한다는 목소리가 나오고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @KelseyTuoc: I wish Anthropic would remain just as neurotic as they are about bioweapons (they're obnoxiously, outrageously neurotic about it;
원문 보기 ↗