프롬프트 수정 전 진단해야 할 5가지 실패 유형

요약

AI 프롬프트 작성 시 단순히 답변의 품질이 낮다고 판단하여 무작정 프롬프트를 수정하기보다는 실패의 원인을 유형별로 구분하여 진단해야 합니다. 긴 대화에서는 명령어의 위치나 문맥의 포화도가 문제를 일으킬 수 있으므로 명령어 배치 문제를 먼저 확인하는 것이 중요합니다. RAG 시스템의 경우 검색된 정보가 정확하더라도 관련 없는 주변 정보에 밀려 순위가 낮아질 수 있는 기술적 요인을 고려해야 합니다. 또한 모델 평가 시에는 명확한 기준(rubric) 없이 점수만 도출되는 함정을 경계해야 합니다. 특히 긴 세션에서 모델이 명령을 무시한다면 프롬프트 문구 수정 전에 해당 명령이 문맥의 HEAD, BODY, TAIL 중 어디에 위치하는지부터 파악해야 합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.