참고팁Reddit
에이전트 실시간 토큰 비용 및 메모리 레이어 가시화 툴 'Chimera' 공개
에이전트 호출 시 비용과 메모리 참조 경로를 투명하게 추적할 수 있어, 에이전트 비용 최적화 및 디버깅 시 유용함.
요약
오픈소스 데스크탑 에이전트 'Chimera'는 사용자가 모든 턴마다 토큰 사용량과 실제 비용(USD), 실행된 도구, 메모리 레이어 정보를 투명하게 확인할 수 있도록 설계되었다. 개발자가 LLM의 토큰 경제를 최적화할 수 있도록 저가 모델부터 고가 모델로 이어지는 캐스케이드(weak→gate→mid→gate→fusion) 라우팅을 적용해 불필요한 비용을 최소화한다. 특히 단순 병합 방식이 일반적인 답변보다 약 11배의 토큰 비용을 발생시킨다는 점에 착안하여, 게이트 통과 시에만 고성능 모델로 확장하는 비용 인식 라우터 기능을 제공한다. 메모리 시스템은 세션 간 사실을 유지하기 위해 JSON과 SQLite를 사용하며, FTS(Full Text Search) 기반의 임베딩 기능을 지원한다. 개발자는 이 앱을 통해 복잡한 질문에 대한 모델의 답변 경로와 비용 효율성을 실시간으로 추적 및 분석할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I built a desktop agent that shows the real token cost + which memory layer answered, every turn (open-source)
원문 보기 ↗