중요ZDNet Korea
카카오, AI 에이전트 리스크 관리 체계·전용 평가 플랫폼 공개
국내 AI 서비스 거버넌스 선례. 사내 AI 안전 체크리스트·투명성 가이드라인 수립 시 참고 가치.
요약
카카오는 13일 '이프카카오(if(kakao)26)'에서 AI 에이전트의 리스크를 사전에 감지·평가·대응하는 'AI 세이프티 이니셔티브 2.0' 구축 계획을 발표했다. 카카오는 자체 평가 플랫폼인 '카카오 AI 세이프티 이밸류에이션 플랫폼(가칭)'과 멀티모달 데이터셋 'AssurAI' 등을 활용해 AI 모델과 서비스를 체계적으로 점검하고 있다. 또한, AI 투명성 확보를 위해 구글 딥마인드의 '신스ID(SynthID)' 워터마크 기술을 도입했으며, 이는 지난달부터 '카나나 템플릿' 서비스에 적용됐다. 향후 카카오는 리스크를 3가지 유형, 5개 위험, 12가지 세부 리스크로 세분화해 관리할 방침이다. 특히 AI 에이전트가 허용된 위임 범위를 벗어나는 행위를 실시간 탐지하는 기술적 안전장치를 마련해 서비스에 적용할 예정이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AI 에이전트 위험 사전에 잡는다…카카오, 세이프티 장치 마련 속도
원문 보기 ↗