참고X
Replit(레플릿), 장기 소프트웨어 빌드 벤치마크 'ViBench 2.0' 공개
에이전트의 전체 제품 빌드 능력을 평가하는 새로운 벤치마크. 최신 모델들의 성능 수준을 파악하는 지표로 활용 가능.
요약
Replit이 장기적인 소프트웨어 개발 능력을 평가하는 벤치마크인 'ViBench 2.0'을 새롭게 공개했다. 이 벤치마크는 에이전트가 빈 프로젝트에서 시작해 다음 단계를 모르는 상태에서 기능을 하나씩 추가하며 전체 제품을 완성하는 방식으로 평가를 진행한다. 테스트 결과 GPT-6.1 Sol, GPT-6 Astra, Opus 5.5 등 최상위 모델들도 모든 체크 항목을 통과하는 비율은 49~65%에 불과한 것으로 나타났다. ViBench 2.0은 현재 FireworksAI의 'Specialized Intelligence Index'에 포함되었으며, 공식 결과 또한 함께 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Replit: Today we're releasing ViBench 2.0, a benchmark for long-horizon software building. Agents start from an empty project and build a
원문 보기 ↗