참고X
앤트로픽 분석: AI 모델 안전성 평가의 함정과 변수
API와 웹 환경 간 동일 모델 성능 차이 및 AI 평가자의 편향 확인. 현재 에이전트 벤치마크 신뢰성에 대한 근본적인 의문 제기.
요약
Anthropic이 발표한 AI 안전성 평가(AI safety evals) 분석 리포트에 따르면, 동일한 Claude 모델이라도 API와 웹 인터페이스(claude.ai) 실행 환경에 따라 멀티턴 안전성 테스트 점수가 최대 34%포인트까지 차이 나는 것으로 나타났다. 또한 AI 평가자(AI graders)가 답변의 길이와 순서 같은 사소한 요소에 의해 편향될 수 있다는 점도 확인되었다. 이러한 결과는 프롬프트, 도구, 테스트 환경, 채택된 평가 방식에 따라 결과값이 달라질 수 있음을 시사한다. 결과적으로 코딩 에이전트 리더보드 점수에 대한 맹신보다는 평가 기준의 파편화가 가져오는 신뢰성 문제를 고려해야 한다는 지적이 나온다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @hqmank: Anthropic just published a really interesting write-up on AI safety evals. One thing caught my attention: the same Claude model sc
원문 보기 ↗