5개 LLM 모델 RAG 성능 비교: 소스 인용 정확도와 환각 실측

요약

한 AI 뉴스레터 서비스 운영자가 5개 LLM 모델을 대상으로 동일한 요약 프롬프트를 입력해 성능을 비교했다. 테스트는 실제 사용자 데이터 110개를 기반으로 모델별 비용, 생성 분량, 그리고 출처 인용 정확도를 측정하는 방식으로 진행됐다. 결과에 따르면 Claude 3.5 Sonnet, Gemini 1.5 Flash-lite, Grok 2(표기된 모델명 기준)는 출처 조작이 없었으나, 비용이 저렴한 일부 모델에서는 존재하지 않는 출처를 생성하는 환각 현상이 발생했다. 특히 GPT-4o-mini는 1건, GLM-4-9B(GLM-5.2)는 2건의 잘못된 출처를 인용했다. 개발자는 비용 절감을 위해 모델 교체를 고려할 때 단순 단가뿐만 아니라 데이터 정합성을 반드시 검증해야 한다고 강조했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.