참고HF Blog
LLM 압축의 물리학: 블록 제거를 위한 CBO 최적화 방법론
블록 제거 기반 LLM 압축 성능을 비약적으로 높이는 최적화 기법. Llama-3.3-70B 테스트에서 MMLU 23% 개선.
요약
Multiverse 연구진은 'LLM Compression by Block Removal with Constrained Binary Optimization' 논문을 통해 대규모 언어 모델(LLM)의 블록 제거 기법을 Ising 모델 기반의 제한적 이진 최적화(CBO) 문제로 재정의하는 새로운 압축 방식을 공개했다. 기존의 휴리스틱 기반 블록 제거 방식은 블록 간 상호의존성을 무시하는 평균장 이론에 의존했으나, 이번 연구는 블록을 Ising 글래스의 스핀 시스템으로 매핑하여 블록 간 상호작용을 고려한 최적의 제거 구성을 찾아낸다. 이 방식을 통해 벤치마킹 없이도 방대한 후보 설정을 빠르게 평가할 수 있으며, 고전 및 양자 영감 솔버를 활용해 효율적인 압축이 가능하다. 실제 성능 평가 결과, Llama-3.3-70B-Instruct 모델을 50% 압축했을 때 기존 최상위 블록 제거 기법 대비 MMLU 점수에서 약 23%p 향상된 성능을 기록했다. 이 기법은 모델의 성능 저하를 최소화하면서 딥 컴프레션(deep-compression) 영역에서 탁월한 압축 효율을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
원문 보기 ↗