중요X
DeepSeek v4 Pro, 취약점 탐지 벤치마크서 전 모델 압도… 재현율 87.5%
CVE 재발견율은 최고지만 정밀도 65.6%로 오탐 많아, 보안 스캐닝은 다중 실행 병합 방식 권장.
요약
DeepSeek v4 Pro 0813 모델이 사이버 보안 벤치마크 테스트에서 취약점 탐지 성능 1위를 기록했다. 해당 모델은 pass@3 기준 87.5%의 CVE를 재발견하며 Opus 5나 Qwen 3.8(81.3%)을 상회하는 성과를 보였다. 다만 취약점 보고의 정밀도는 65.6%로 GPT-5.6-Sol(86.4%)보다 낮았고, 단일 실행 시 평균 58.3%의 탐지율을 보이는 등 결과의 일관성은 다소 부족한 것으로 나타났다. DeepSeek v4 Pro는 쉬운 취약점보다 복잡한 취약점을 파고드는 탐색적 특성이 강해, 여러 번의 실행 결과를 종합할 때 가장 강력한 성능을 발휘한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @pilvar222: We ran DeepSeek v4 Pro 0813 on our cybersecurity benchmark, it outperformed EVERY (!) other model at finding vulnerabilities - At
원문 보기 ↗