참고X
DeepSeek V4.1(딥시크 V4.1)-Flash 1017 벤치마크 분석: "마이너 업데이트라기엔 큰 폭의 성능 향상"
Terminal-Bench 4.0 및 DeepSWE 점수 급상승 확인. 효율성 중심의 모델 개선 인사이트.
요약
DeepSeek이 Terminal-Bench 4.0 점수를 기존 31.2에서 42.3으로 크게 향상시켰음에도 이를 단순 '마이너 업데이트'라고 명명해 업계의 주목을 받고 있다. 이번 업데이트로 DeepSWE 벤치마크에서 77.0점을 기록하며 Claude 3.5 Opus(74.0)와 GPT-4o(73.0 수준)를 상회하는 성능을 보였다. 특히 눈에 띄는 점은 더 짧은 출력으로 작업을 더 빠르게 완료하는 효율성을 구현했다는 것이다. 더 적은 토큰을 사용함으로써 비용 효율성을 극대화하는 실질적인 개선을 이루어냈다. DeepSeek은 이번에도 MIT 라이선스로 가중치를 공개했으며, 자체 평가 환경 밖에서도 이 성능이 유지될지 관심이 집중되고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Thom_Wolf: we’re getting used to it by now but DeepSeek calling this a “minor update” while moving Terminal-Bench 4.0 from 31.2 to 42.3 is ve
원문 보기 ↗