컨텍스트 윈도우의 함정: 에이전트 성능을 저하시키는 '컨텍스트 부패(Context Rot)'

요약

AI 에이전트가 긴 대화창에서 이전에 작성한 코드를 반복하거나 성능이 저하되는 현상은 단순히 토큰 제한을 초과했기 때문이 아니라, '컨텍스트 로트(Context Rot)'라는 현상 때문이라는 주장이 제기되었다. Chroma가 18개 모델을 테스트한 결과, 모든 모델이 광고된 토큰 제한에 도달하기 훨씬 전부터 주의 집중력이 떨어지는 성능 저하를 보였다. 사용자는 토큰 제한이라는 '하드 버킷' 외에도, 대화가 길어지며 불필요한 정보가 쌓여 모델의 판단력을 흐리는 '소프트 버킷(주의 품질)'을 관리해야 한다. 특히 코딩 세션에서는 git diff, 테스트 결과, 스택 트레이스 등 누적된 정보들이 모델의 주의력을 분산시키는 '컨텍스트 로트'를 가속화한다. 따라서 에이전트가 성능을 유지하려면 무조건적인 컨텍스트 확장이 아니라, 주의력을 흐리는 불필요한 데이터를 제거하는 최적화 전략이 필수적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.