참고팁Reddit
코딩 에이전트 성능의 핵심은 모델보다 '하네스(Harness)'
같은 모델(GPT-5.5(지피티 5.5))에서도 에이전트 실행 환경(하네스)에 따라 성능 차이가 큼을 확인. 에이전트 설계 시 모델 선택만큼 프레임워크 선택이 중요함을 시사.
요약
Reddit의 r/ChatGPTCoding 커뮤니티에 올라온 실험에 따르면, AI 모델이 같더라도 에이전트 도구인 '하네스(harness)'에 따라 성능 차이가 예상보다 큰 것으로 나타났다. 작성자는 GPT-5.5 모델을 고정한 상태에서 Claude Code, Codex, OpenCode, 그리고 본인이 개발한 Scout 등 4가지 하네스를 비교했다. 총 5개 작업에 대해 3회씩 테스트를 진행한 결과, 다단계 작업일수록 하네스의 영향력이 컸다. 특히 모든 하네스에서 수치적 규율이 부족하고 존재하지 않는 수치를 만들어내는 현상이 공통적으로 확인되었다. 이번 결과는 작성자가 직접 설계한 소규모 벤치마크를 기반으로 하였으며, 향후 하네스 벤치마크가 갖춰야 할 평가 요소에 대한 논의를 제안했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Same model, four coding harnesses: the harness moved the score more than I expected
원문 보기 ↗