LLM 에이전트용 토큰 압축 툴 'Distill' 오픈소스 공개

요약

Reddit의 한 개발자가 AI 코딩 에이전트를 위한 토큰 효율화 도구인 'Distill'을 공개하고 벤치마크 결과를 공유했다. Distill은 에이전트 출력값을 상황에 맞게 압축하는 플러그인과 입력 컨텍스트를 줄이는 MCP 미들웨어 'distill-shrink'로 구성된다. Claude Code에서 테스트한 결과, 출력 압축은 기존 최적화 성능과 큰 차이가 없는 중립적인(+0.3%) 성과를 보였으나, 기존의 다른 압축 기술은 오히려 결과물이 18% 길어지는 역효과가 발생했다. 반면, 도구 설명 및 호출 결과 등 입력 측면에서의 컨텍스트 압축이 실질적인 비용 절감 효과가 큰 것으로 나타났다. 이번 벤치마크는 실제 환경에서의 성능을 검증하기 위해 데이터 위주로 공개되었으며, 현재 베타 버전으로 배포 중이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.