참고X
DeepSeek-V4-Flash, 보안 취약점(CVE) 탐지 능력 분석
CVE 탐지 벤치마크에서 75%의 성공률 기록. GPT-5.6-Sol과 비교 가능한 수준의 성능 확인.
요약
최근 공개된 DeepSeek Flash v4가 사이버보안 벤치마크 테스트에서 32개의 CVE 중 24개를 찾아내며 75%의 높은 Recall 성능을 기록했다. 이번 테스트에서 DeepSeek Flash v4는 전체 실행 중 55.2%의 취약점 발견율을 보였으며, 다른 모든 모델이 놓친 2개의 CVE를 찾아내는 성과를 거두었다. 다만 동일한 테스트를 세 번 반복했을 때 모든 회차에서 발견한 CVE는 12개에 불과해 결과의 일관성은 다소 부족한 것으로 나타났다. 비용 측면에서는 총 150.22달러가 소요되어 Luna(75.36달러)보다는 높았지만, GPT-5.6-Sol 및 Kimi와 비교해 단 1개의 CVE 차이로 대등한 성능을 보였다. 또한 Claude 3 Opus와 비교해도 단 2개 차이로 추격하며 실무적인 사이버보안 분석 도구로서의 강력한 잠재력을 입증했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @pilvar222: We added DeepSeek Flash v4 on our cybersecurity benchmark. It's VERY strong. - It found 24 of 32 CVEs at least once, giving it 75%
원문 보기 ↗