로컬 LLM 4종과 Claude 2(클로드 2)종의 도구 호출(Tool Calling) 성능 비교 실험 결과

요약

RTX 3090 환경에서 로컬 LLM 4종과 Claude 2종을 대상으로 BFCL v4 다단계 과제 100개를 모델별로 5회 반복 테스트했다. 5번 모두 성공한 과제 수는 gemma4 26B가 60개로 가장 높았으며, 이어서 Claude Sonnet 3.5 57개, LFM2.5 24B 45개, qwen3.8 27B 42개, Claude Haiku 3.5 36개, gpt-oss 20B 28개 순으로 나타났다. 특히 qwen3.8은 적어도 한 번 성공한 과제는 83개로 가장 많았으나, 5회 연속 성공률은 42개에 그쳐 일관성 확보가 중요함을 보여주었다. 이번 실험은 도구 호출(에이전트) 과제 수행 시 평균 성공률과 반복 성공률 사이의 차이를 확인했다는 점에서 의미가 있다. 실험 과정에서 Claude 모델이 확인 질문을 던지는 경우 등을 고려해 추가적인 프롬프트 조정이 필요함이 확인되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.