중요GeekNews
12개 모델 코딩 실측: GPT-5.6 Sol·Claude Fable 5, 복잡 과제 선두 양분
과제별 성공률·비용·시간 공개. 코딩 에이전트 모델 선택 시 참고할 실측 데이터.
요약
GPT-5.6, Grok 4.5, Claude 등을 활용해 동일한 앱을 제작하는 시각적 벤치마크는 모델의 추론 능력보다 학습 데이터의 포괄성과 지식 인출 능력을 잘 보여줍니다. 현재 웹 개발 벤치마크에서는 Fable과 GPT-5.6이 막상막하의 성능을 나타내고 있습니다. 모델 26개가 앱 52개를 제작해 비교하는 모델 Arena에 GPT 5.6 Sol, Terra, Luna가 추가되었으며, Terra는 Sol의 절반 수준의 경과 시간을 기록해 품질과 비용의 뛰어난 균형을 증명했습니다. Luna는 Sol보다 약 23% 더 많은 시간이 소요되었으나 비용이 훨씬 저렴하며, Sol은 디자인 감각 측면에서 뚜렷한 차별점을 보여주었습니다. 반면 GLM 같은 모델은 벤치마크에 과도하게 최적화되어 실제 성능보다 수치가 과장되었다는 비판을 받으며, 이에 따라 현실적이고 정교한 AI 평가 방법론의 필요성이 강조되고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 GPT-5.6, Grok 4.5, Claude, Muse Spark로 동일한 앱 4개를 만든 결과
원문 보기 ↗