참고팁Reddit
Claude Opus 5.5(클로드 오푸스 5.5), 커스텀 양자화 기술로 Qwen3.5(큐원 3.5)-0.8B 성능 최적화
기존 도구보다 압도적인 효율의 커스텀 양자화 시도. 로컬 LLM 최적화 워크플로우에 참고할 가치가 있음.
요약
최근 Reddit의 r/LocalLLM 커뮤니티에서 Opus 5.5가 자체 개발한 양자화 방식을 통해 Qwen3.5-0.8B 모델의 효율을 극대화한 사례가 화제입니다. Opus 5.5는 기존 llama-quantize 도구나 imatrix를 사용하지 않고, NumPy로 직접 설계한 양자화기를 통해 모델의 입력 열 중 신호가 있는 곳을 선별하여 반올림 오차를 최소화했습니다. 각 가중치 테이블의 손상을 개별 측정하고 knapsack solver를 이용해 IQ4_XS, Q5_K, Q6_K 포맷에 바이트 예산을 할당하는 방식으로 최적화를 진행했습니다. 그 결과 498.5MB 크기의 이 모델 파일은 BF16 대비 KL divergence 0.015704를 기록했습니다. 이는 비슷한 크기인 Unsloth의 UD-Q3_K_XL(0.092486) 대비 약 5.9배 향상된 성능입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Opus 5.5 wrote its own quantiser for Qwen3.5-0.8B, no llama-quantize, no imatrix. 5.9× better than Unsloth's same-size file.
원문 보기 ↗