장기 작업 에이전트 성능 향상 기법 'StateM' 공개: 런북과 체크포인트 활용
모델의 추론 능력이 아닌, 시스템 설계(런북, 체크포인트)만으로 에이전트의 복잡 작업 실패율을 낮추는 실용적인 패턴.
요약
StateM은 장기 호라이즌 에이전트의 실패 원인을 언어 모델 자체의 한계가 아닌 실행 시스템의 문제로 규정하고 이를 개선하는 새로운 방법론을 제시한다. 이 시스템은 내구성 있는 상태 체크포인트, 단계별 컨텍스트, 검증된 전환, 복구 가능한 런북 등을 통해 북키핑을 외부화하고 복구 절차를 재사용 가능하게 만든다. Terminal-Bench 2.1 성능 평가에서 StateM을 적용한 GPT-5.5 xhigh는 성공률이 83.1%에서 92.1%로 상승했고, GPT-5.6 Sol xhigh는 95.3%를 기록했다. 특히 특정 모델로 개발한 런북을 GPT-5.6 Luna에 적용했을 때도 76.7%에서 85.4%로 성능이 향상되는 등 모델 간 전이 학습 효과를 입증했다. 또한 DeepSeek 변형 모델은 38달러 미만의 적응 비용으로도 88.1%의 성공률을 달성하며 경제적 효율성을 보여주었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 StateM: Improving long-horizon agents through harness scaling rather than model retraining
원문 보기 ↗