참고HF Papers
LoRA 학습 효율을 개선하는 'Normalized Low-Rank Adaptation(NoRA)' 공개
LoRA의 초기 최적화 역학을 개선해 수렴 속도와 안정성을 높임. 별도 파라미터 추가 없이 성능 개선이 가능해 미세조정 시 도입 고려.
요약
기존 LoRA(Low-Rank Adaptation)는 학습 초기 업-프로젝션(up-projection)이 0으로 초기화되어 학습 역학이 다운-프로젝션(down-projection)에 크게 의존하는 한계가 있습니다. 이를 개선하기 위해 제안된 NoRA(Normalized Low-Rank Adaptation)는 학습 과정에서 다운-프로젝션 행렬을 정규화하는 간단한 방식을 도입했습니다. 연구진은 이 정규화를 학습 초기 단계에만 적용해도 표준 LoRA의 성능을 향상시킬 수 있음을 입증했습니다. NoRA는 사전 학습, 지도 미세 조정, 강화 학습 전반에서 수렴 속도를 가속화하고 학습 안정성을 높이며 치명적 망각을 완화하는 효과를 보입니다. 특히 추가적인 학습 파라미터나 추론 시 연산 비용 증가 없이 적용할 수 있어 범용성이 뛰어납니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Normalized Low-Rank Adaptation
원문 보기 ↗