참고팁Reddit
LLM의 '모름' 답변 유도하기: 프롬프트에 'Unknown' 선택지 추가의 효과
모르는 문제에 대해 확신을 갖고 틀린 답을 내놓는 현상을 제약 조건 추가만으로 상당 부분 교정 가능.
요약
골드바흐의 추측(Goldbach's conjecture)을 활용한 알고리즘 종료 여부 테스트 결과, 프롬프트의 응답 형식에 따라 AI 모델의 답변이 크게 달라지는 현상이 확인되었습니다. GPT-6.1-sol, GPT-6-astra, Claude Opus 5.5, Claude Fable 5.1 등 4개 모델을 대상으로 테스트한 결과, '예/아니오' 형식으로만 제한했을 때 16번의 실행 모두 95% 이상의 확신도로 '멈추지 않는다'고 답했습니다. 그러나 동일한 모델들에 '알 수 없음(unknown)'이라는 선택지를 제공하자 12번의 실행 모두 '알 수 없음'으로 응답했습니다. 이는 모델들이 해당 문제가 미해결 난제임을 인지하고 있음에도 불구하고, 프롬프트가 강제하는 응답 형식에 맞춰 판단을 왜곡할 수 있음을 보여줍니다. 따라서 복잡한 추론이나 사실 검증이 필요한 태스크에서는 답변 형식 설계 시 모델이 '모른다'고 말할 수 있는 선택지를 반드시 포함해야 합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 gpt and claude were 95%+ sure about an unsolved problem until the prompt allowed "unknown"
원문 보기 ↗