Anthropic(앤트로픽), Claude(클로드)의 대화 위험성 자체 평가 기능 도입

요약

Anthropic이 대화 내 잠재적 오용 사례를 탐지하는 기술인 '셀프 어세스먼트(self-assessment)'를 Claude에 도입했다. 이 기술은 Claude가 응답 직후 스스로 대화 내용을 검토하여 안전성을 1차적으로 평가하는 방식이다. 지난 6월 도입 이후 기존 안전장치로 식별하기 어려웠던 오용 사례를 다수 발견하는 성과를 거두었다. 이미 대화 맥락을 파악한 상태에서 평가가 이루어져 효율성이 높으며, 특정 위해 유형만 탐지하는 분류기(classifier)와 달리 모델의 판단력에 기반해 유연하게 대응한다. 따라서 향후 Claude 모델 성능이 고도화될수록 더욱 정교한 오용 탐지가 가능해질 전망이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.