참고Reddit
DeepSeek V4 Flash 0731, Terminal-Bench 2.1 성능 독립 검증 결과
DeepSeek V4 Flash 0731의 벤치마크 점수를 외부 하네스로 검증. 모델 성능 평가 시 참고 데이터로 활용 가능.
요약
DeepSeek V4 Flash 0731 모델이 Terminal-Bench 2.1에서 82.7%의 정확도를 기록했다는 자체 발표 결과가 독립적인 공개 검증을 통해 재현되었다. 검증팀은 Ante 0.preview.71을 활용해 총 445번의 테스트를 수행한 결과, 정확히 82.7%의 성공률(368회 성공)을 확인했다고 밝혔다. 이번 실험은 OpenRouter를 통해 DeepSeek V4 Flash 0731 모델을 대상으로 진행되었으며, 89개의 Terminal-Bench 2.1 작업에 대해 작업당 5회의 시행이 이루어졌다. 검증 과정에서는 '최대 추론 노력' 설정이 적용되었으며 별도의 기술(skills)은 활성화되지 않았다. DeepSeek V4 모델은 테스트 환경인 하네스(harness) 설정에 민감하게 반응하는 특성을 보였다. 전체 하버(Harbor) 작업 기록과 설정값 등 상세 데이터는 공개된 상태다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 DeepSeek V4 Flash 0731 hits 82.7% on Terminal-Bench 2.1 in an independent public-harness run (445 trials)
원문 보기 ↗