프롬프트 최적화 연구: 검증(Validation)과 테스트의 분리

요약

프롬프트 최적화 과정에서 실패한 답변 사례를 제공하면 옵티마이저가 이를 바탕으로 더 정교한 수정안을 생성할 수 있지만, 수정된 프롬프트가 특정 사례에만 과적합될 위험이 존재합니다. Reef Infra의 GEPA 레시피는 아카이브에서 부모 프롬프트를 선택하고, 실행 추적을 통해 미니 배치를 성찰한 뒤 프롬프트 컴포넌트를 재작성하는 방식을 사용합니다. 이때 자식 프롬프트는 먼저 해당 미니 배치에서 부모의 성능을 능가해야 하며, 통과 시 전체 검증 평가를 거쳐 최종 선택됩니다. 미니 배치 검사는 제안된 수정안의 국소적 개선 여부를 확인하고, 검증 단계는 광범위한 데이터셋에서의 성능을 평가합니다. 다만, 검색 과정 외부에서의 일반화 성능을 객관적으로 평가하기 위해서는 별도의 홀드아웃 테스트 세트가 반드시 필요합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.