4,000 토큰 시스템 프롬프트를 300으로 줄이는 방법

요약

Reddit의 한 사용자가 4,000 토큰에 달하던 시스템 프롬프트를 300 토큰으로 압축한 경험을 공유했습니다. 기존에는 모델이 맥락을 잃어버리는 것을 방지하기 위해 시스템 프롬프트에 지속적으로 규칙을 추가하며 비대해졌지만, 이는 고정된 규칙과 변화하는 사실 정보를 구분하지 못하는 한계가 있었습니다. 이를 해결하기 위해 사용자는 변화하는 사실 정보를 실시간으로 추출하고 최신 정보로 갱신하는 'Synap'이라는 별도의 도구로 옮기는 방식을 택했습니다. 그 결과 프롬프트를 300 토큰으로 줄이면서도 30번째 메시지 이후의 응답 일관성이 크게 향상되었습니다. 모델은 이제 불필요한 과거 기록의 나열 대신, 현재 필요한 최신 사실 정보 4개만을 입력받아 더 효율적으로 작동합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.