10k 이하 데이터셋 fine-tuning 시 QLoRA 학습률(2e-4) 주의보

요약

QLoRA 학습 시 흔히 권장되는 학습률(learning rate) 2e-4가 1만 개 미만의 소규모 데이터셋에서는 부적합할 수 있다는 주장이 제기되었습니다. 2e-4라는 수치는 5만 2천 개의 데이터로 구성된 Alpaca 데이터셋을 기준으로 설정되었으나, 이를 5~10k 규모의 데이터셋에 그대로 적용하면 첫 에폭(epoch)부터 과적합(overfitting)이 발생할 위험이 큽니다. 과적합이 발생하면 학습 손실(training loss)은 감소하지만 평가 손실(eval loss)은 정체되거나 오히려 상승하는 현상이 나타납니다. 따라서 소규모 데이터셋을 미세 조정(fine-tuning)할 때는 해당 기본값을 맹신하지 말고 학습률을 조정해야 합니다. 이는 무분별한 데이터 정제나 프롬프트 수정보다 학습 파라미터 조절이 우선되어야 함을 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.