프롬프트 엔지니어링: SQuAD v2 벤치마크를 통한 모델의 무응답 처리 검증 사례

요약

최근 Reddit의 r/PromptEngineering 커뮤니티에 올라온 실험에 따르면, 프롬프트 엔지니어링을 통해 프롬프트 인젝션 방어는 가능했으나 답변 불가능한 질문을 걸러내는 문제는 여전히 해결되지 않았다. 실험자는 SQuAD v2 데이터셋에서 25개 사례(쉬운 문제 12개, 어려운 문제 5개, 답변 불가 5개, 인젝션 3개)를 추출해 gpt-oss-20b 모델(Groq 환경)로 평가를 진행했다. 실험 결과, 더 엄격한 프롬프트를 적용했을 때 프롬프트 인젝션은 차단되었으나 모델은 여전히 컨텍스트 내에 답이 없는 경우에도 답변을 생성하는 문제를 보였다. 실험자는 15개의 개발 데이터셋과 10개의 숨겨진 데이터셋을 활용해 온도 0(temperature 0) 설정으로 모든 호출을 SQLite에 기록하며 평가를 수행했다. 기존의 어떤 프롬프트 문구로도 이러한 '답변 불가' 질문에 대한 오답 생성 문제를 완전히 해결하지 못해 후속 대책에 대한 논의가 필요한 상황이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.