스케일링 법칙의 진화: 추론 비용 중심의 '과잉 학습(Over-training)' 모델 전략

요약

AI 모델의 성능을 결정하는 스케일링 법칙에서 단순히 파라미터 수에만 집중하는 것은 부족하며, 데이터양, 컴퓨팅 자원 배분, 추론 환경을 함께 고려해야 한다. 과거 Kaplan 등(2020)의 연구는 파라미터를 데이터보다 빠르게 늘릴 것을 제안했으나, Hoffmann 등(2022)의 Chinchilla 연구는 컴퓨트 최적화 비율로 토큰당 파라미터 약 20개를 제시하며 이를 수정했다. 최근에는 추론 비용이 전체 모델 수명 비용을 지배하게 됨에 따라 Llama-2-7B와 Gemma-2-9B처럼 데이터를 과도하게 학습시킨 작은 모델이 더 효율적인 선택지로 부상했다. MoE 모델의 경우, 총 파라미터는 지식 저장 능력을 결정하고 활성화 파라미터는 추론 깊이를 결정하므로 이 둘을 구분하여 설계해야 한다. 최신 연구인 Roberts 등(2025)에 따르면, 암기 작업은 파라미터 수를 늘리는 것이 유리하지만 복잡한 추론 작업은 더 많은 데이터 학습이 필요하며, MoE에서는 단순히 총 파라미터만 늘리는 것이 오히려 추론 성능을 저하시킬 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.