참고팁X
가중치 0.1% 제거로 미세조정 효과 내는 'Deletion Tuning' 공개
모델 전체를 재학습하지 않고 핵심 가중치 삭제만으로 성능을 유지하고 망각을 방지하는 경량화 방법론.
요약
NeurIPS 2026에서 공개된 Deletion Tuning은 LLM 가중치의 0.1% 미만을 0으로 만드는 것만으로 전체 파인튜닝(FFT) 수준의 정확도를 달성하는 새로운 효율적 학습 기법이다. 이 방식은 61GB 용량의 30B Mixture-of-Experts 모델에서 단 30MB 크기의 이진 마스크를 학습시키는 것만으로 기존 FFT와 대등한 성능을 구현한다. 모델 규모가 7B에서 30B로 커져도 밀집 모델과 MoE 모델 모두에서 안정적인 정확도를 유지하며, 새로운 데이터를 학습할 때 발생하는 파괴적 망각 현상을 방지할 수 있다. 특히 모델 전체를 업데이트하는 대신 극소수의 가중치만 삭제하는 방식이라 연속 학습(continual learning) 구현을 위한 실질적인 대안으로 주목받고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Jacklu_me: Even the simplest weight edit, a deletion, can teach an LLM new skills! Meet Deletion Tuning (#NeurIPS2026): just zeroing <0.1% of
원문 보기 ↗