참고X
Cognition(코그니션) AI, 신규 코딩 벤치마크 'FrontierCode 2.0' 공개
모호한 프롬프트에서 모델의 판단력과 실제 병합 가능성을 측정하는 새로운 평가 지표입니다.
요약
Cognition이 코딩 벤치마크인 FrontierCode 2.0을 새롭게 공개했다. 기존 벤치마크가 명세서(spec) 준수 여부만을 평가했다면, FrontierCode 2.0은 모델이 실제로 머지(merge)할 만한 수준의 코드를 작성하는지 검증한다. 특히 이번 2.0 버전은 더 다양한 작업과 넓은 범위를 다루며, 'PR을 머지할 것인가'를 넘어 '머지해야만 하는가'를 평가하는 높은 기준을 제시한다. 또한 FrontierCode 2.0은 공학적 결정 사항을 모두 포함하지 않은 의도적으로 불완전한 프롬프트를 제공해 모델의 판단력을 측정한다. 현재 가장 뛰어난 모델조차 45%의 점수를 기록하는 등 변별력을 확보했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @cognition: Introducing FrontierCode 2.0: our new coding benchmark that measures a model’s ability to go beyond the spec. Most coding evals me
원문 보기 ↗