llama.cpp, 신규 양자화 포맷 'IQ_K' 시리즈 제안

요약

최근 Reddit의 r/LocalLLaMA 커뮤니티에서 새로운 양자화 유형인 IQ2_K, IQ3_K, IQ4_K, IQ5_K, IQ6_K가 제안되어 주목받고 있다. 해당 양자화 방식은 기존 Q-quants와 파일 크기는 동일하지만, KLD(Kullback-Leibler Divergence) 수치 면에서 성능이 크게 개선된 것으로 나타났다. 다만 모델의 실제 성능은 기존 방식 대비 소폭 하락할 수 있으며, IQ 양자화 모델 생성 과정이 다소 느리다는 단점이 있다. 자세한 기술적 세부 사항은 llama.cpp의 공식 GitHub PR(#30715)에서 확인할 수 있다. 현재 테스트를 위한 모델 파일은 Hugging Face의 eaddario 계정을 통해 공유되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.