참고팁Reddit
AI 고객 상담 봇의 '티 나는' 답변 원인: 프롬프트 예시의 함정
응답이 매번 특정 질문으로 끝나는 문제를 분석한 사례. 프롬프트 예시를 모델이 그대로 학습해 생기는 현상으로, 답변 다양성을 위한 프롬프트 전략 수정이 필요함.
요약
고객 응대 AI의 인간성 여부를 판별하기 위해 가상의 자동차 대리점 시나리오를 바탕으로 블라인드 테스트를 진행한 결과, 40건의 대화 모두 AI로 판명되었다. 테스트에는 Gemini Flash-Lite와 자체 호스팅한 Qwen3-14B 모델이 사용되었으며, 대조군으로 제시된 인간의 답변은 판별자가 5건 모두 정확히 맞혔다. 40건 중 34건의 대화에서 판별자가 AI를 식별한 핵심 요인은 답변의 끝맺음 방식이었다. 92~96%의 답변이 'Would you like to...', 'Let me know if...'와 같이 질문으로 끝났는데, 이는 프롬프트 예시를 그대로 학습한 결과로 분석된다. 이번 실험은 모델이 규칙보다 프롬프트에 포함된 예시 형식을 더 강하게 모방한다는 사실을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 We had a blind judge guess human or AI on our support agent's replies. 40 out of 40 said AI
원문 보기 ↗