코딩 에이전트용 로컬 LLM 벤치마크: 7개 모델 도구 활용·코드 생성 비교

요약

Reddit의 한 사용자가 코딩 에이전트 환경에서 최적의 GGUF 모델을 찾기 위해 7개 로컬 모델과 Strata 엔진을 벤치마크했다. 이번 테스트는 단순히 질문에 답하는 수준을 넘어, 도구 호출, 파일 읽기·수정, 검증 등 실제 에이전트 업무 수행 능력을 평가하는 데 초점을 맞췄다. 실험은 2개의 RTX 5080 환경에서 18개의 도구 호출 작업, 72개의 코드 작성, 72개의 에이전트 과제를 각각 3회씩 반복하며 동일한 온도(0.2)와 샘플링 설정을 적용했다. MiniCPM-V-4.7-35B-A3B Q4 모델 등이 포함된 이번 벤치마크는 단발성 질의응답 중심의 기존 리더보드와 달리 실제 개발 업무 환경에서의 모델 성능을 체계적으로 비교 분석했다는 점이 핵심이다. 이 결과는 로컬 환경에서 코딩 에이전트를 운영하고자 하는 실무자가 작업 전 최적의 모델을 선택하는 데 유용한 기준을 제공한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.