참고X
Fable 5.2(페이블 5.2) 벤치마크 결과: 거절(Refusal) 응답은 줄었으나 성능은 하락
Fable 5.2(페이블 5.2) 모델의 벤치마크 성적 분석. 기존 대비 거절 응답률은 개선되었으나 랭킹은 크게 하락함.
요약
최신 모델 Fable 5.2가 BullshitBench 평가에서 이전 버전 대비 개선된 점과 한계를 동시에 드러냈다. Fable 5에서 1/3 수준으로 높았던 답변 거부율(refusals)이 Fable 5.2에서는 거의 사라지며 긍정적인 변화를 보였다. 그러나 벤치마크 순위는 40위와 53위로 하락하며 이전의 성능을 유지하지 못했다. 기존 Fable/Opus 모델이 톱 10을 점유하던 것과 달리 성능 저하가 뚜렷하게 나타났다. 이번 결과는 답변 거부율 개선이 반드시 성능 향상으로 이어지지는 않는다는 점을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @petergostev: Fable 5.2 on BullshitBench - bad news and good news. Good news is that refusals (i.e. null response) are WAY down. Fable 5 denied
원문 보기 ↗