주요 LLM 6종 코딩 성능 및 비용 벤치마크 (10월)

요약

최근 10월 한 달간 DeepSeek, Google, OpenAI, Anthropic, Moonshot, 그리고 신생 기업 Flint가 새로운 AI 모델을 출시하며 코딩 성능 경쟁이 치열해졌다. Atomic Agent 0.6.13을 활용해 5개의 코딩 과제를 수행한 결과, 테스트한 6개 모델 중 5개 모델이 모든 과제를 통과하는 높은 성능을 보였다. 특히 DeepSeek V4.1 Flash는 5개 과제를 14초 만에 모두 해결하며 비용 0.02달러로 가장 경제적인 효율성을 나타냈다. 반면 동일한 과제 수행에 드는 비용은 모델별로 0.02달러에서 0.65달러까지 큰 편차를 보였다. 이번 테스트는 클라우드 모드 및 macOS 샌드박스 환경에서 모델별 10분 제한 시간 내에 진행되었으며, 각 과제에는 YAML 오버라이드나 오류 라인 카운팅 등 함정이 포함되어 변별력을 높였다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.