참고팁Reddit
데스크톱용 올인원 모델 양자화 툴 'iQuantize' 공개
로컬 모델 실행을 위한 GGUF, MLX, ONNX 변환 및 결과 시각화, 허깅페이스 업로드를 지원하는 워크스페이스.
요약
대규모 언어 모델(LLM)을 위한 데스크톱 양자화 워크스페이스 'iQuantize'가 공개되어 오픈소스(Apache 2.0 라이선스)로 전환되었습니다. 사용자는 로컬 Safetensors 파일을 직접 불러오거나 Hugging Face에서 모델을 선택해 GGUF, MLX, ONNX 형식으로 단계별 양자화 작업을 수행할 수 있습니다. 해당 툴은 모델 변환 과정의 변화를 시각화하고 원본 모델과 비교하는 기능을 지원하며, 자동으로 모델 카드와 함께 Hugging Face에 업로드하는 과정을 돕습니다. 현재 Apple Silicon 환경에서 최적화되어 있으며, Windows와 Linux 빌드도 지원하지만 추가적인 테스트와 기여가 필요한 상태입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 End-to-End Desktop Quantization workspace for Large Language Models: Load local Safetensors or Huggingface, Step-by-Step guided Conversions to GGUF, MLX, and ONNX, and Visualize Model Changes and quick publishing to huggingface with full model card.
원문 보기 ↗