LLM 가중치 0.05%만 삭제해도 성능 향상? '가중치 가지치기' 연구 결과 주목

요약

뉴욕대학교와 캘거리대학교 공동 연구진은 LLM의 전체 가중치를 수정하는 대신, 0.05% 미만의 가중치를 선택적으로 삭제하는 것만으로 수학 추론 및 도구 사용 능력을 크게 향상시킬 수 있다는 연구 결과를 발표했다. 지난 7일 공개된 논문 'LLM 후속학습에서 가중치 삭제의 놀라운 효과'에 따르면, 이 방식은 전체 미세조정(Fine-tuning)과 유사한 성능을 달성하면서도 모델 학습 결과를 저장하는 용량을 획기적으로 줄일 수 있다. 특히 기존에 학습한 모델의 능력을 유지하면서 새로운 성능 개선이 가능하다는 점이 이번 연구의 핵심이다. 이번 연구는 효율적인 LLM 최적화와 경량화를 모색하는 실무자들에게 새로운 대안을 제시할 것으로 평가받는다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.