코딩 에이전트 작업 기록 표준화 도구 'Session-Bench' 공개

요약

작업 완수 여부를 측정하는 기존 SWE-bench와 달리, 새롭게 공개된 Session-Bench는 코딩 에이전트가 작업 후 남기는 세션 기록의 보존 상태를 평가한다. 이 벤치마크는 10개 CLI 세션 포맷을 대상으로 완성도, 가독성, 안정성, 개방성 등 19개 실무 기준을 비교 분석한다. 분석 결과, 동일한 작업 수행 시 생성되는 세션 기록의 크기가 Pi는 1.5KB, Kimi Code는 약 101KB로 도구별로 큰 차이를 보였다. 또한, 평가 대상 중 Pi, OpenClaw, Kimi Code만이 기록 보존의 핵심 기준을 충족했다. 에이전트의 프롬프트, 도구 호출, 비용, 실패 사례 등을 담은 세션 기록은 프로젝트 이력 관리에 중요한 만큼, 개발 환경에 적합한 도구 선택을 위해 본 벤치마크 결과를 참고할 필요가 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.