참고Reddit
[R] ExTernD: 3진 양자화(Ternary PTQ)의 정확도와 효율을 동시에 잡는 새로운 접근법
고정된 행렬 크기 제한을 극복한 새로운 양자화 기법. 효율적인 모델 배포를 연구한다면 주목할 논문.
요약
최근 arXiv에 발표된 'ExTernD(Expanded-Rank Ternary Decomposition)'는 고정된 행렬 크기를 사용하는 기존 Ternary PTQ 방식의 한계를 극복하기 위해 제안된 새로운 양자화 기법이다. 이 방식은 기존의 단일 행렬 대신 두 개의 3진(ternary) 행렬과 내부 대각 스케일링 행렬로 분해하는 구조를 취한다. 내부 랭크를 임의로 크게 설정할 수 있어 양자화 수준에 따른 정확도 저하 문제를 효과적으로 개선했다. 특히 약간의 VRAM 사용량 증가만으로도 3진 연산의 효율성을 극대화할 수 있어 실무적인 대안으로 평가받는다. 기존 3진 양자화 방법론들의 정밀도 한계를 넘어서는 새로운 접근법으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 ExTernD: Expanded-Rank Ternary Decomposition Ternary LLM PTQ with Accuracy Approaching Any Quantization Level [P]
원문 보기 ↗