참고Reddit
Claude Opus 5.5(클로드 오푸스 5.5), 'ProgramBench' 해결률 18.5% 기록
실제 프로그램 재구현 난이도가 높은 벤치마크에서 모델의 엔지니어링 수행 능력이 유의미하게 향상되었음을 시사.
요약
Claude Opus 5.5(xhigh)가 컴파일된 바이너리와 문서를 바탕으로 프로그램을 처음부터 재구축하는 ProgramBench에서 18.5%의 해결률을 기록했습니다. 지난 5월 벤치마크 출시 당시 모든 모델이 0%를 기록했던 것과 비교하면 괄목할 만한 성능 향상입니다. 이 테스트는 SQLite, FFmpeg, ripgrep과 같은 실제 프로그램을 재구축하는 과제를 포함합니다. 업계 전문가 잭 클라크는 해당 벤치마크가 2027년 말까지 포화 상태에 이를 것으로 예측했습니다. 향후 이 벤치마크가 조기에 포화될 경우, 이를 대체할 새로운 소프트웨어 엔지니어링 능력 평가 지표에 대한 논의가 필요할 것으로 보입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Claude Opus 5.5 can now rebuild real programs from scratch — 18.5% on ProgramBench, up from 0% in May
원문 보기 ↗