참고Reddit
Jev 1.14.0 성능 평가: 고난도 질문에서 과신(Over-confident) 경향 확인
모델의 신뢰도 및 캘리브레이션 특성을 분석한 기술 리포트. 모델 도입 시 신뢰도 검증 자료로 활용.
요약
최신 언어 모델 Jev 1.14.0의 이진 질문(binary questions) 성능을 500개 문항으로 테스트한 결과, 전체 ECE(Expected Calibration Error)는 0.023으로 완벽하게 보정된 모델 수준의 값을 보였습니다. 그러나 난이도별로 상세 분석을 진행하면 성능 차이가 뚜렷하게 나타납니다. Easy 난이도에서는 정확도보다 평균 자신감이 7포인트 낮은 과소 확신(under-confident) 경향을 보였고, Medium 난이도는 대체로 목표치와 일치했습니다. 반면 Hard 난이도에서는 정확도보다 22포인트 높은 강한 과잉 확신(over-confident) 성향을 보였습니다. 특히 Hard 구간의 ECE는 0.222로, 해당 구간의 보정 임계값인 0.12를 크게 상회하는 수치입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [crosspost] Jev 1.14.0 is bluffing on the hard question
원문 보기 ↗