참고팁Reddit
DeepSeek-V4.1(딥시크 V4.1) Flash 최적화 GGUF 모델 배포 및 벤치마크 검증
Unsloth팀이 최신 GGUF 모델의 벤치마크 결과를 공개. 경량화 모델 도입 시 성능 지표로 참고 가능.
요약
Unsloth에서 DeepSeek-V4.1-1017 Dynamic V3.1(preview) GGUF 버전을 새롭게 공개했다. 자체 벤치마크 테스트 결과, 해당 모델은 기존 ISTA의 GSQ-RCO GGUF 방식보다 AIME25, LiveCodeBench, GPQA Diamond, Aider Polyglot 등 거의 모든 지표에서 더 높은 성능을 보였다. 특히 ISTA가 AIME25에서 주장한 100% 정확도 복구는 실제 테스트 결과 약 91.88%에 그쳐 검증 과정에서 상당한 격차가 발견되었다. Unsloth는 신뢰도를 높이기 위해 모든 벤치마크를 최소 3회 이상, AIME25는 16회 반복 실행하여 평균값을 산출했다. 이전 버전인 v3 또한 대부분의 지표에서 ISTA를 상회했으며, 추가적인 벤치마크 결과는 다음 주에 공개될 예정이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Introducing DeepSeek-V4.1-Flash-1017 Dynamic v3.1 Unsloth GGUFs
원문 보기 ↗