참고팁Reddit
시스템 프롬프트보다 최근 문맥이 우선되는 현상: 에이전트 루프 설계 팁
에이전트가 시스템 프롬프트의 제약을 무시하고 최근 컨텍스트(에러 메시지 등)에 매몰되는 문제. 규칙을 시스템 프롬프트가 아닌 코드 로직으로 강제하는 방식이 더 효과적임.
요약
최근 Reddit의 r/PromptEngineering 커뮤니티에서 LLM의 시스템 프롬프트 규칙보다 최근 컨텍스트의 영향력이 크다는 실험 결과가 공유되었습니다. 80줄짜리 에이전트를 활용한 실험에서 파일 읽기 도구에 의도적으로 오류를 발생시키고 '실패한 도구 호출을 반복하지 말라'는 규칙을 시스템 프롬프트 최상단에 배치했습니다. 그러나 모델은 컨텍스트 하단에 쌓인 3번의 반복된 오류 메시지에 영향을 받아 해당 규칙을 무시하고 실패한 호출을 계속 재시도했습니다. 이는 모델이 시스템 프롬프트보다 최신 컨텍스트에 포함된 구체적인 오류 텍스트를 더 우선순위로 인식하기 때문인 것으로 분석됩니다. 동일한 규칙을 시스템 프롬프트가 아닌 루프 코드 내에 삽입했을 때는 성공적으로 작동하여, 프롬프트 엔지니어링 설계 시 주의가 필요함을 시사했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A rule in the system prompt lost to three error messages lower in the transcript. The same rule as loop code worked on the first try
원문 보기 ↗