LLM 대화형 에이전트의 토큰 비용 급증 원인 분석: 누적 요약(Summary) 버그

요약

월 140만 건의 대화를 처리하는 한 고객 지원 챗봇 서비스에서 대화가 길어질수록 비용이 급격히 증가하는 문제가 발생했다. 분석 결과, 이전 요약을 새로운 요약으로 대체하는 대신 이전 내용을 계속 덧붙이는 구조적 오류로 인해 2턴에 5,800개였던 입력 토큰이 9턴에는 38,400개까지 늘어났다. 이로 인해 요청당 p95 비용이 0.19달러에서 0.83달러까지 상승하며 비용 효율성이 크게 저하되었다. Span 수준의 토큰 속성 분석을 통해 요약 및 생성 단계별 비용을 확인한 결과, 요약 누적 방식이 토큰 낭비의 주원인임이 밝혀졌다. 단순히 토큰 예산을 제한하는 방식은 근본적인 해결책이 되지 않으며, 매 턴마다 요약을 갱신하는 구조로의 변경이 필수적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.