참고X
Cognition 사장 인터뷰: SWE-bench 포화와 차세대 에이전트 평가 방식
SWE-bench의 한계와 모델 성능 평가의 새로운 패러다임에 대한 업계 인사이트 제공.
요약
Harrison Chase가 운영하는 팟캐스트 Max Agency에 Cognition의 Russell Kaplan 대표가 출연하여 소프트웨어 엔지니어링 벤치마크인 SWE-bench의 한계와 그 대안에 대해 논의했다. 현재 SWE-bench는 포화 상태에 도달했으며, Cognition은 이를 대체하기 위해 자체적으로 구축한 새로운 평가 방식을 소개했다. 양사는 이제 더 이상 단순히 '어떤 모델이 가장 뛰어난가'를 묻는 것이 팀에게 유의미한 질문이 아니라고 지적했다. 또한, AI 모델 평가의 복잡성이 증가함에 따라 실무 현장에서 필요한 새로운 관점과 방법론에 대한 심도 있는 대화를 나눴다. 해당 인터뷰는 YouTube, Apple, Spotify를 통해 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @hwchase17: New Max Agency with @cognition President @russelljkaplan. We got into the saturation of SWE-bench and what Cognition built to repl
원문 보기 ↗