참고팁Reddit
LLM 에이전트 컨텍스트 관리: 프로덕션 환경의 캐시 전략 분석
Codex(코덱스), Claude Code(클로드 코드), Shopify(쇼피파이) 등 주요 에이전트 팀들의 KV 캐시 히트 최적화 및 컨텍스트 구성 노하우 정리.
요약
Reddit의 r/LLMDevs 커뮤니티에서 12개 AI 팀의 모델 컨텍스트 구성 방식을 분석한 결과, 모든 팀이 프롬프트 시작 부분을 고정하는 전략을 채택하고 있음이 확인되었습니다. 이는 KV-캐시 적중률을 최적화하기 위한 것으로, Codex는 프롬프트를 이전 프롬프트의 정확한 접두사로 유지하며 Manus는 이를 가장 중요한 프로덕션 지표로 관리합니다. Claude Code 팀 역시 캐시 적중률 저하를 장애로 간주하며, Shopify는 지침을 도구 결과와 함께 반환하여 캐시를 깨뜨리지 않고 변경할 수 있게 설계했습니다. 지침 파일 관리 측면에서는 OpenAI의 harness 팀이 100줄 내외의 AGENTS.md 파일을 참조하고, Codex는 결합된 지침 파일을 32KB로 제한하는 등 소규모로 유지하는 것이 권장됩니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Follow-up to my 12-harness comparison: how they decide what the model sees, and why the split comes down to what a miss costs
원문 보기 ↗