중요Reddit
DeepSeek V4.1 Flash, AA 신규 벤치마크에서 Astra 제치고 1위
벤치마크가 3일 새 두 번 개편된 정황. 순위표 절대 수치보다 평가 방법론 변화를 함께 봐야 함.
요약
Artificial Analysis(AA)는 최근 Intelligence Index v4.3 업데이트를 통해 기존 τ³ 평가를 대체하는 새로운 비공개 벤치마크를 도입했다. 해당 벤치마크 초기에는 Astra 모델이 높은 점수를 기록하며 Fable과 대등한 성적을 거두었으나, 이후 지표가 수정되는 과정을 겪었다. 이러한 변화 속에서 DeepSeek V4.1 Flash가 새롭게 1위를 차지하며 주목받고 있다. 이번 결과는 모델 평가 기준의 변경이 리더보드 순위에 즉각적인 영향을 미칠 수 있음을 시사한다. AI 실무자들은 새로운 벤치마크 기준과 모델별 성능 변화를 지속적으로 모니터링할 필요가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 DeepSeek V4.1 Flash beats Astra on AA's new benchmark
원문 보기 ↗