로컬 LLM을 활용한 웹 페이지 SEO 감사: Qwen 등 4개 모델 성능 비교

요약

REAME 개발자가 MacBook M3 Pro에서 CPU 기반 추론을 통해 웹페이지 SEO 감사 능력을 4개 모델(Qwen2.5-1.5B부터 Qwen2.5-7B/OLMoE 7B-A1B 등)로 테스트했다. 테스트는 이미지 alt 텍스트 존재, 메타 설명 길이, 쿠키 동의 위젯의 빈 h2 태그 등 실제 환경을 반영하여 진행됐다. 결과적으로 Qwen2.5-1.5B는 이미 존재하는 alt 텍스트를 없다고 판단하거나 자신이 생성한 값을 제안하는 등 허위 정보를 생성하는 경향을 보였다. 반면 OLMoE 7B-A1B 역시 모순된 결과를 내놓아 신뢰성이 떨어지는 것으로 확인됐다. 이 실험은 작은 모델이 실무 환경에서 환각 현상 없이 웹페이지 감사를 수행하기엔 여전히 한계가 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.