참고X
Claude Opus 5 성능 분석: Refusal 비율 증가로 인한 'Bullshit Benchmark' 하락 현상
API 수준의 제약이 강화되며 초기 모델 대비 응답 거절 비율이 증가하고 있음. 모델 선택 시 참고.
요약
최근 벤치마크 결과에 따르면, Opus 5의 성능이 이전 버전인 Opus 4.8에 비해 하락하는 추세를 보이고 있다. 이러한 성능 저하의 주요 원인 중 하나로 API 레벨에서 요청이 차단되는 '거부(Refusals)' 현상이 지목되었다. Opus 5의 거부율은 약 10% 수준으로 나타났으며, 이는 이전 Opus 모델들이 0%의 거부율을 기록했던 것과 대조적이다. 모델 Fable의 경우 거부율이 35%에 달했는데, Opus 5도 이와 유사한 분류기(classifier)를 적용받고 있는 것으로 분석된다. 다만, 적용 정도는 Fable보다는 낮은 수준인 것으로 관측된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @petergostev: Bullshit Benchmark: interesting, Opus 5 is drifting down from the near perfect score of Opus 4.8. One key reason is Refusals (i.e.
원문 보기 ↗