GGUF 파일 용량 8.66% 절감, 오픈소스 압축 도구 'foldz' 공개

요약

오픈소스 프로젝트 foldz는 GGUF 모델 파일을 무손실로 압축하여 저장 공간을 효율화하는 도구로, 9개의 허브 모델 테스트 결과 전체적으로 8.66%의 크기 절감 효과를 확인했습니다. 일반적인 압축 도구와 달리 GGUF 구조를 직접 분석하여 양자화된 블록을 원래 값과 스케일로 분해한 뒤 적응형 확률 모델로 인코딩하는 방식을 사용합니다. 이 과정에서 바이트 단위로 정확히 복구되는 무손실 압축이 보장되므로, 압축 해제 후에는 llama.cpp, Ollama, LM Studio 등 기존 환경에서 문제없이 구동됩니다. 다만, 추론 속도 향상을 위한 목적이 아니라 모델의 저장, 다운로드, 공유를 용이하게 하는 것이 주된 기능입니다. foldz는 4비트 값의 범위를 재구성하는 기술 등을 활용해 일반적인 압축 도구로는 줄이기 어려웠던 양자화 모델 파일의 용량을 효과적으로 최적화합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.