참고X
모델 벤치마크 결과의 함정: '하네스(Harness)'에 따른 성능 왜곡 주의
평가 도구(Harness) 설정이 2026년 기준 모델 성능의 절반을 결정함. 벤치마크 결과 해석 시 인프라 영향을 고려해야 함.
요약
X 사용자 @jun_song은 최근 프런티어 AI 팬보이들이 Deepseek에 대해 허위 내러티브를 퍼뜨리고 있다고 지적했다. 이들은 Deepseek의 성능을 의도적으로 낮게 보이게 하려고 서로 다른 평가 환경(harness)을 적용하여 조작된 결과를 내고 있다. Fable을 열악한 환경에서 테스트하고 Opus를 Claude Code에서 실행하면 Opus가 훨씬 우월해 보이는 식의 왜곡이 가능하다. 이러한 방식은 Sonnet의 성능을 과대평가하는 데에도 악용될 수 있다. 2026년 기준, 모델 간 성능 격차의 절반 이상은 평가 환경(harness)에서 기인하며 그만큼 환경 설정이 결과에 결정적인 영향을 미친다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @jun_song: Watch out for the fake narrative about Deepseek coming from frontier fanboys. A lot of people are forcing two completely different
원문 보기 ↗