참고팁Reddit
Rust 기반 고속 청킹(Chunking) 라이브러리 'Chunkr' 공개
RAG 시스템의 전처리를 20배 이상 가속화. Rust 기반으로 기존 도구 대비 월등한 처리 속도 제공.
요약
Rust 기반의 고속 청킹(Chunking) 라이브러리인 'chunkr'이 새롭게 공개되었습니다. 이 라이브러리는 Character, Recursive, Markdown, Late, Hierarchical 등 다양한 청킹 전략을 지원하며, 네이티브 PDF 로더를 포함해 여러 파일 형식을 처리할 수 있습니다. 벤치마크 결과(M4 16GB 기준), Recursive(1MB, 1000/200) 설정에서 2,264MB/s의 처리 속도를 기록하여 LangChain(769MB/s), Chonkie(225MB/s) 등 기존 라이브러리 대비 월등한 성능을 보였습니다. 특히 Fixed Char 방식에서는 초당 750MB를 처리하며 타 라이브러리 대비 압도적인 효율을 나타냈습니다. 개발자는 정확도를 유지하면서도 전체 시스템의 청킹 성능을 개선하고자 하는 목적으로 이 라이브러리를 개발했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 A chunking lib in Rust that is ~20x faster [P]
원문 보기 ↗