NVIDIA(엔비디아) 연구: '컨텍스트 압축'으로 LLM 효율성 극대화 및 비용 절감
에이전트 작업 시 컨텍스트를 요약해 유지하면 성능 저하 없이 비용을 크게 줄일 수 있음. 긴 문맥 처리가 필요한 서비스라면 도입 고려.
요약
엔비디아(NVIDIA)는 최근 연구를 통해 LLM의 긴 문맥(long-horizon/long-input) 작업 시 과감한 문맥 압축(context compaction)을 적용해도 성능 저하가 거의 없음을 입증했다. Claude Opus 4.5의 경우 전체 기록 대신 짧은 상태 요약만 사용하는 방식으로, SWE-bench Verified 점수가 70.0에서 70.2로 유지되면서 중앙값 최대 문맥은 32K에서 8K 토큰으로 감소했다. 특히 대화 종료 시 단순 압축 방식을 사용하면 Opus의 성능이 70.0에서 74.8로 오히려 향상되는 결과를 보였다. 문맥 압축은 생성 시 후반 토큰의 비용이 초반보다 최대 7배 비싼 최신 오픈 웨이트 모델의 비용 효율성 측면에서도 중요하다. Terminal-Bench, FRAMES, BFCLv3 등 다양한 벤치마크에서도 동일한 패턴이 확인된 만큼, 고비용의 100만 토큰 단위 에이전트 실행 전 공격적인 문맥 압축 기법을 먼저 테스트하는 것이 권장된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @omarsar0: Highly recommended paper from NVIDIA. (bookmark it) There is a lot of debate about whether to use context compaction aggressively.
원문 보기 ↗