다국어 서비스 LLM 가드레일 성능 평가 사례

요약

최근 한 개발자가 Gemini-3.5-flash-lite 모델을 활용해 영어 및 아랍어 명언 서비스를 구축하고 63개의 평가 케이스를 통해 가드레일을 테스트한 결과를 공유했다. 테스트 과정에서 모델 거절 메시지가 명언으로 출력되거나 아랍어 응답에 중국어가 섞이는 등 예기치 못한 버그 3건이 발견되었다. 프롬프트 인젝션 방어의 경우, 입력 체크 시스템이 20건의 공격 중 15건을 차단했으나, 가드레일이 없는 경우 모델이 공격에 취약해 추가적인 보호 계층의 필요성이 확인되었다. 다국어 안전성 평가에서는 영어와 아랍어 모두 약 40%의 유해 요청을 거부했으나, 언어별로 거절 결정이 일관되지 않는 문제가 나타났다. 이번 실험은 동일 모델이라도 언어에 따라 가드레일 판단이 달라질 수 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.