참고Reddit
소규모 LLM 및 의사결정 모델 6개 과제 벤치마크 분석
특정 의사결정 태스크에서 Mammoth-1 등 소형 모델이 LLM보다 우수한 성능을 기록. 경량 모델 도입 시 참고.
요약
한 개발자가 4개의 의사결정 모델과 5개의 소형 LLM을 6개의 공개 데이터셋에서 6,662회의 의사결정 과정을 통해 성능을 비교한 결과를 공개했다. 종합 성능에서는 Mammoth-1이 평균 80.9%의 정확도를 기록하며 가장 뛰어난 LLM보다 약 3%포인트 앞섰다. 특히 Banking77의 77가지 의도 파악 작업에서 Mammoth-1은 93.0%를 기록해 최고의 LLM보다 11%포인트 높은 성적을 보였다. 다만 프롬프트 주입 공격 방어 테스트에서는 Qwen3.6과 Gemma 4가 각각 92.9%로 Mammoth-1의 84.3%보다 우수한 성능을 나타냈다. 한편 Laya 모델은 77가지 옵션 작업 수행이 불가능했고 특정 데이터셋에서 '범위 외(out of scope)' 응답을 과도하게 생성하는 등 모델별 한계점도 확인되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I compared four decision models and five small LLMs on the same six tasks
원문 보기 ↗