"KLD는 모델 품질의 절대 지표가 아니다"… 로컬 LLM 평가의 오해와 진실

요약

최근 r/LocalLLaMA 커뮤니티에서는 KLD(Kullback-Leibler Divergence) 수치를 양자화된 모델의 품질을 판단하는 절대적인 기준으로 오해하는 사례가 늘고 있다. KLD는 기본 모델과 양자화 모델의 로짓 확률 분포 차이를 측정하는 지표일 뿐, 모델의 절대적 성능을 순위 매기는 용도로는 한계가 있다. 많은 이들이 위키피디아 등 무작위 텍스트 데이터를 사용해 KLD를 계산하지만, 이는 추론 과정에서 모델이 실제로 접하는 데이터 분포를 제대로 반영하지 못할 수 있다. 특히 모델이 텍스트를 생성하며 문맥이 길어지는 과정에서 발생하는 데이터 분포 변화를 고려하지 않는 계산 방식은 왜곡된 결과를 초래한다. 따라서 KLD를 양자화 모델 품질 평가의 유일한 지표로 맹신해서는 안 된다는 지적이 제기되고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.