참고X
Cognition(코그니션), 실제 레포지토리 대상 코딩 에이전트 벤치마크 'FrontierCode 1.1' 공개
단순 유닛 테스트를 넘어 유지보수 담당자가 병합할 수준의 코드 변경을 평가하는 실제 사용 환경 중심의 벤치마크.
요약
Artificial Analysis가 Cognition의 코딩 평가 벤치마크인 FrontierCode 1.1 리더보드를 공개했다. 이 벤치마크는 실제 오픈소스 저장소의 유지보수 담당자가 병합할 수준의 코딩 작업을 요구하며, 단순히 유닛 테스트 통과 여부뿐만 아니라 코드 품질, 불필요한 수정 여부 등을 종합적으로 평가한다. 평가 결과 Claude Opus 5.5가 52%로 1위를 차지했으나, 여전히 주요 모델들의 성공률은 40% 이상 실패하는 것으로 나타났다. 리더보드 상위권에는 6개 연구소의 9개 모델이 43~52% 사이의 점수로 밀집되어 있으며, 오픈 가중치 모델 중에서는 MiMo-V2.6-Pro가 45%로 선두를 달리고 있다. 특히 GPT-6.1 Sol은 작업당 0.81달러의 비용으로 49%의 점수를 기록하며 Anthropic 모델들과 유사한 성능을 10분의 1 수준의 비용으로 구현했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ArtificialAnlys: We're launching our leaderboard for FrontierCode 1.1, a private evaluation from Cognition that tests models on completing coding t
원문 보기 ↗