파라미터 중심의 스케일링 법칙, 데이터와 컴퓨팅 효율로 변화

요약

최근 AI 모델 개발에서 파라미터 수뿐만 아니라 데이터양, 컴퓨팅 자원, 실행 환경을 함께 고려하는 스케일링 법칙(Scaling Law)의 중요성이 재조명되고 있다. 과거 Kaplan et al.(2020)은 파라미터를 데이터보다 약 2.7:1 비율로 빠르게 늘려야 한다고 주장했으나, 이후 업계는 GPT-3 등을 통해 이를 실행했다. 하지만 Hoffmann et al.(2022)은 400여 개 모델을 분석한 결과, 컴퓨팅 효율 최적화를 위해 파라미터당 약 20개의 토큰이 필요하다는 결론을 도출했다. 결론적으로 충분한 컴퓨팅 자원이 있다면 파라미터와 데이터는 동일한 비율로 증가해야 한다. 실무자는 단순히 파라미터 크기에만 집중할 것이 아니라, 전체적인 데이터 전략과 컴퓨팅 예산을 고려한 최적의 스케일링을 고민해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.