Anthropic 연구원, AI 멸종 위험 경고하며 사임

요약

Anthropic의 연구원 Jacob Coxon이 AI 기업들이 잠재적으로 인류를 멸망시킬 수 있는 '자기 개선형 초지능(self-improving superintelligence)' 기술을 위험하게 개발하고 있다고 경고하며 퇴사했다. 그는 현재 모델보다는 향후 시스템이 모든 것을 해킹하고 통제권을 장악할 수 있는 위험성을 지적하며, 업계가 이러한 실존적 위협을 간과하거나 경쟁을 위해 속도를 내는 것에 우려를 표했다. 이에 대해 Anthropic의 Alignment Science 팀 리드인 Evan Hubinger 역시 AI가 향후 10년 내 인류를 위협할 가능성이 10% 이상이라고 동조했다. Anthropic은 지난 8월 보고서를 통해 현재 모델의 재앙적 위험은 낮지만, 미래의 고도화된 모델에서는 오정렬(misalignment) 문제가 심화될 수 있다고 경고한 바 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.