참고팁Reddit
프롬프트 최적화: 입력 변경 시 전체 재생성 방지 'Revision Prompting'
입력값이 일부 바뀔 때 이전 결과와 차분만 처리하여 재생성 비용 절감 및 일관성 유지.
요약
입력값의 일부만 변경될 때 전체 프롬프트를 다시 실행하는 대신, 이전 입력값과 결과물, 그리고 변경된 부분(diff)만을 제공하여 결과물 패치를 요청하는 'Revision Prompting' 기법이 제안되었습니다. 기존 방식은 LLM의 비결정적 특성으로 인해 변경되지 않은 부분까지 재작성하는 문제가 있었으나, 이 기법을 사용하면 비용을 절감하고 불필요한 변화를 방지할 수 있습니다. 특히 문서 번역이나 송장 데이터 추출처럼 자동화 파이프라인에서 동일한 지시를 반복 수행할 때 효과적입니다. 변경된 부분에 대해서만 모델이 수정안을 제시하게 함으로써 출력의 일관성을 유지할 수 있습니다. 자세한 내용은 revisionprompting.info에서 확인할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Revision Prompting: A trick to avoid regenerating the whole output when only 10% of the input changed.
원문 보기 ↗