긴 세션에서의 코딩 에이전트 성능 저하, 모델 문제인가 컨텍스트 관리 문제인가

요약

최근 LLM 개발자 커뮤니티에서는 긴 코딩 세션 진행 시 Codex와 같은 모델의 성능이 저하되는 현상이 모델 자체의 문제인지, 컨텍스트 관리의 문제인지에 대해 논의가 이어지고 있습니다. 일부 모델은 세션이 길어질수록 첫 토큰 생성 속도가 느려지고 처리 시간이 늘어나며 컨텍스트가 사실상 무용지물이 되는 현상을 보입니다. 이 문제를 단순히 모델의 추론 속도 차이로 보기보다는 프롬프트 길이, 캐시 누락, 대기열 등으로 인한 '첫 토큰 지연'과 긴 이력에 따른 '턴당 사고 시간 증가'로 구분해야 한다는 분석이 제기되었습니다. 또한 모델이 이전 내용을 잊어버려 태스크 해결에 더 많은 턴을 소모하는 현상도 주요 원인 중 하나로 지목되었습니다. 결국 세션이 길어질수록 이력이 선형적으로 증가하고 도구 사용 결과가 컨텍스트 윈도우에 누적되면서 발생하는 효율성 저하가 성능 저하의 핵심 원인으로 보입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.