VeriLoop E2 GGUF 퀀타이즈 버전 공개…메모리별 최적화 가이드

요약

VeriLoop E2 모델의 전체 GGUF 정밀도 레벨(precision ladder)이 공개되었으며, BF16 원본부터 IQ1_M까지 다양한 양자화 버전을 지원한다. 이번 공개는 단순한 양자화가 아니라, 저용량 변형 모델에서도 특정 텐서의 정밀도를 보호하는 방식으로 설계되어 성능 저하를 최소화했다. 실제로 50.11 GiB인 BF16 모델을 IQ1_M 수준으로 압축했을 때 PPL(Perplexity) 편차는 +0.319%에 불과하며, 용량은 16.79 GiB까지 줄어든다. 모델 배포 시 강력한 품질과 메모리 균형을 원한다면 Q6_K를 권장한다. 또한 약 19 GiB 이하의 메모리 환경이 필요하다면 Q5_K_M 버전을 사용하는 것이 더 넓은 충실도를 유지할 수 있어 유리하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.