프롬프트 최적화 전 '테스트 데이터셋' 15분 만에 구축하기

요약

프롬프트 최적화의 핵심은 단순히 프롬프트를 다듬는 것이 아니라, 이를 검증할 테스트 데이터를 구축하는 과정에 있다. 우선 프롬프트가 수행해야 할 주요 업무를 3~5개 선정하고, 업무별로 2~3개의 일반적인 케이스를 구성해야 한다. 이후 가장 긴 입력값, 가장 짧은 입력값, 모호한 입력값, 잘못된 형식 등 잠재적 실패를 유발할 수 있는 케이스를 포함하고, 프롬프트 탈취를 시도하는 2~3개의 적대적 사례도 추가한다. 각 케이스마다 '좋은 답변'의 기준을 한 문장으로 정의하여 등급 산정 및 참조 지표로 삼는다. 15~20개의 테스트 케이스만으로도 운영 환경에서 발생할 수 있는 주요 장애를 충분히 사전에 걸러낼 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.