프롬프트가 적용 안 될 때 체크리스트: '내가 수정하는 파일'과 '실제 참조되는 파일'의 불일치

요약

최근 한 개발자가 약 6주간 정교하게 다듬어온 시스템 프롬프트가 실제 AI 모델에 반영되지 않고 있었다는 사실을 발견했다. 개발자는 프롬프트 내 위치 규칙, 어조, 금지어 등을 반복적으로 수정했음에도 모델의 반응에 변화가 없어 모델의 프롬프트 이행 능력 부족을 의심했다. 그러나 확인 결과, 프런트엔드에서 수정한 프롬프트 파일과 실제 모델이 호출하는 에지 함수(edge function) 내부의 하드코딩된 프롬프트 파일이 서로 달랐던 것으로 밝혀졌다. 두 파일은 과거 업데이트 과정에서 불일치가 발생했으며, 개발자가 수정했던 내용은 모델에 전혀 전달되지 않았다. 문제 해결은 단 10분 만에 에지 함수가 수정된 파일을 불러오도록 코드를 변경함으로써 완료되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.