Hugging Face(허깅페이스) transformers, GGUF 포맷 네이티브 지원 시작

요약

Hugging Face의 transformers 라이브러리가 GGUF(llama.cpp 양자화 포맷) 모델을 네이티브로 지원한다. 이제 개발자는 'AutoModelForCausalLM.from_pretrained' 함수에 'gguf_file' 옵션을 사용하여 별도의 변환 과정 없이 GGUF 모델을 직접 로드하고 기존 transformers API로 제어할 수 있다. 이번 업데이트를 통해 양자화 모델을 노트북 환경 등 로컬 자원에서 효율적으로 구동할 수 있으며, PyTorch 도구를 활용한 디버깅, 평가 및 맞춤형 생성 작업이 한층 용이해졌다. 특히 Apple Silicon 환경에서는 ggml 커널을 재사용하여 압축된 양자화 가중치에서 모델을 직접 실행함으로써 성능 최적화를 지원한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.