참고X
DeepSeek V4.1(딥시크 V4.1) Flash 벤치마크: 전용 하니스(Harness) 사용 시 성능 향상 분석
DeepSeek V4.1(딥시크 V4.1) Flash는 하니스 조합에 따라 성능과 비용 차이가 큼. API 최적화 시 참고.
요약
DeepSeek V4.1 Flash 모델에 전용 harness(보조 도구)를 적용할 경우, 성능 점수가 평균 2~3점 상승하는 것으로 나타났다. 다만, 해당 방식은 서브 에이전트 활용과 출력 토큰 증가로 인해 비용이 약 80% 더 발생하는 것으로 확인됐다. 벤치마크 결과 DeepSeek V4.1 Flash에 DeepSeek harness를 결합했을 때 최고 평균 점수는 42.7점을 기록했다. 이는 Claude Code harness 결합 시의 39.1점보다 개선된 수치이며, GPT-6 Astra(45점)나 Muse Wonder Full 1.0(42점) 등 주요 모델과 비교 가능한 수준이다. 해당 결과는 벤치마크 웹사이트에서 상세 데이터를 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @PawelHuryn: Turns out DeepSeek harness improves the score of DeepSeek V4.1 Flash by 2-3 points on average. It also costs 80% more due to subag
원문 보기 ↗