Paul Christiano: "1년 내 초지능 탄생 확률 33%"
초지능 등장 가능성을 경고하며, 안전 기술 확보 전까지 알고리즘 개발 일시 중단 필요성 강조.
요약
Alignment Research Center(ARC)의 수장인 Paul Christiano는 현재의 AI 발전 속도가 유지될 경우, 1년 내에 정부를 전복할 수 있을 만큼 강력한 초지능이 등장할 확률을 3분의 1로 추정했다. 그는 연구소들이 모델의 가중치와 연구 기밀을 완벽히 보호할 수 있을 때까지 알고리즘 발전을 일시 중단해야 한다고 주장하며, 그렇지 않을 경우 중국 등 외부 세력의 기술 탈취로 인해 통제 불가능한 지능 폭발이 발생할 위험이 있다고 경고했다. 또한, 데이터 센터 내부에서만 학습된 AI라도 인간이 통제하기 어려운 역량을 가질 수 있음을 지적했다. 현재의 정렬(alignment) 기술만으로는 초지능을 안전하게 제어할 확률이 높지 않으며, 초지능이 스스로 정렬 문제를 해결해주길 기대하는 것이 현실적인 상황이다. OpenAI 이사회 멤버이기도 한 그는 기존의 RLHF를 발명한 인물이기도 하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @dwarkesh_sp: .@paulfchristiano thinks that on the current trajectory (absent any slowing down), there is a 1 in 3 chance that we could have sup
원문 보기 ↗