프롬프트 엔지니어링: 토큰 절약 기법이 오히려 입력 토큰을 늘리는 이유

요약

최근 한 레딧 사용자가 Codex를 활용한 프롬프트 엔지니어링 과정에서 토큰 절약을 위해 'Caveman skill'을 추가했음에도 오히려 입력 토큰이 약 3% 증가하는 현상을 공유했다. 실험 데이터에 따르면 기존 39,223개였던 평균 입력 토큰이 Caveman skill 적용 후 40,388개로 늘어났다. 이는 스킬 사용을 위한 추가 지침이 프롬프트 입력에 포함되면서 발생한 결과로, 모델이 처리해야 할 정보량만 늘린 셈이 되었다. 실제로 해당 지침 추가 이후 모델의 평균 출력 토큰은 오히려 268개에서 245개로 감소했다. 프롬프트 최적화 과정에서 불필요한 지침 추가가 오히려 토큰 비용과 효율성에 부정적인 영향을 줄 수 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.