참고팁Reddit
LLM RAG 할루시네이션 검증을 위한 2단계 프롬프트 연습
고객 계약서 기반 RAG 시 잘못된 정보를 참조하지 않는지 테스트하는 구체적인 프롬프트 패턴.
요약
최근 Reddit의 r/PromptEngineering 커뮤니티에는 AI 모델이 과거의 고객 계약 정보를 현재 고객에게 잘못 적용하는 현상을 검증하기 위한 2단계 프롬프트 테스트 방법이 공유되었습니다. 이 테스트는 가상의 고객 계약 기록과 아카이빙된 티켓 정보를 바탕으로, AI가 현재 고객의 요청에 올바른 정책을 적용하는지 확인하는 구조입니다. 구체적으로는 먼저 '고객 A의 과거 특례 사례'가 포함된 정보를 제공한 뒤, '고객 B의 현재 요청'에 대해 올바른 계약을 식별하고 대응 메시지를 작성하도록 유도합니다. 이어서 추가 기록을 업데이트하는 후속 프롬프트를 투입해 AI가 정보를 갱신하거나 혼동하지 않는지 평가합니다. 해당 기법은 AI 어시스턴트가 과거의 잘못된 맥락을 현재 고객에게 투영하는 할루시네이션이나 논리 오류를 효과적으로 잡아내기 위해 제안되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A two-round prompt exercise for checking which customer agreement still applies
원문 보기 ↗