파인튜닝 효율 극대화를 위한 데이터 동적 선정·혼합 전략

요약

컴퓨팅 자원이 제한적인 상황에서 효율적인 파인튜닝을 위해 데이터 전략을 최적화하는 세 가지 동적 방법이 제시되었습니다. 첫째, 데이터셋이 너무 클 경우 100만 개 샘플 중 10만 개만 선택하여 학습하는 동적 선택(Dynamic selection) 전략을 활용해야 합니다. 손실값(loss)이나 그래디언트(gradient) 기반의 기준을 적용해 노이즈가 많은 명령 데이터를 선별함으로써 SFT 효율을 극대화할 수 있습니다. 둘째, 여러 도메인 데이터를 다룰 때는 고정된 비율 대신 학습 진행 상황에 따라 데이터 비율을 실시간으로 조정하는 동적 혼합(Dynamic mixing) 방식을 제안합니다. 마지막으로 데이터셋의 양보다 질을 우선시하여 최적의 학습 효율을 내는 것이 컴퓨팅 예산이 부족할 때 고려해야 할 핵심 요소입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.