참고X
DeepSeek V4.1 Flash, 벤치마크 환경에 따른 성능 격차 확인
클로드 코드 및 코덱 대비 미니멀 환경에서 더 높은 성능 기록. 실무 적용 시 벤치마크 환경 설정에 따른 성능 차이 고려 필요.
요약
DeepSeek이 자사의 새로운 모델인 V4.1 Flash 모델을 8가지 하네스(harness) 설정에서 평가한 결과가 공개되었다. 평가 결과, 해당 모델은 mini-SWE와 minimal DeepSeek 하네스 같은 최소한의 설정에서 가장 우수한 성능을 보이는 것으로 나타났다. 반면, Claude Code나 Codex 환경에서는 상대적으로 낮은 성능을 기록했다. 이는 DeepSeek V4.1 Flash 모델의 효율적인 활용을 위해서는 적절한 하네스 설정 선택이 중요하다는 점을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @zainhas: deepseek eval'd their new v4.1 flash model in 8 different harness configs > model performs best in minimal harnesses -- mini-SW
원문 보기 ↗