중요X
Fable 5.2(페이블 5.2), 칩 설계·소프트웨어·생물학·소재과학서 큰 폭 개선…금융·법률·RSI는 제외
도메인별 성능 편차 확연. GDPx 전문가 평가 기준이라 실제 업무 적용 전 분야별 검증 필수.
요약
X 사용자 @dylan522p에 따르면, 최신 AI 모델 Fable 5.2가 칩 설계, 소프트웨어 엔지니어링, 생물학 및 재료 과학 분야에서 이전보다 성능이 대폭 향상되었다. 이번 성능 측정에는 해당 영역을 상세하게 평가할 수 있는 GDPx 벤치마크가 사용되었으며, 실제 전문가들이 평가 항목을 설계한 점이 특징이다. 다만 금융, 법률, 정량적 거래, RSI, 하드웨어 설계 분야에서는 성능 향상이 나타나지 않았다. 특히 Anthropic이 RSI 과업에서 모델 성능을 의도적으로 제한했으며, 이러한 조치가 벤치마크 점수 결과에 그대로 반영되었다는 분석이 나온다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @dylan522p: Fable 5.2 is significantly better at chip design, software engineering, biology, and material science. GDPx is the only eval that
원문 보기 ↗