컨텍스트 비용 80% 절감하는 무손실 압축 라이브러리 'densely'

요약

densely는 LLM 에이전트의 컨텍스트 오버플로우 문제를 해결하기 위해 손실 없는(lossless) 압축 방식을 도입한 기술이다. 이 방식은 기존의 요약 중심 접근법과 달리 데이터를 LZMA로 압축한 뒤, 65,536개의 단어로 재인코딩하여 각 토큰당 16비트의 정보를 담는 효율적인 채널을 제공한다. 데이터 복구 시에는 sha256 검증을 통해 바이트 단위로 정확한 복원을 보장한다. 성능 측정 결과 로그 데이터는 6.94배, JSON 도구 출력은 7.75배 토큰 수를 절감했다. 특히 코드 데이터의 경우 Qwen2.5-Coder-0.5B를 활용한 신경망 백엔드 옵션을 사용하면 최대 7.27배까지 압축이 가능하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.