PBT(Population Based Training)가 Grokking에 미치는 영향 분석
하이브리드 학습 튜닝 시 Grokking 현상이 나타나는 과정을 연구한 결과. 모델 학습 최적화에 참고.
요약
Reddit의 r/MachineLearning에서 공유된 실험 결과에 따르면, Population Based Training(PBT)은 그로킹(grokking) 속도를 직접 높이지는 않지만, 기존 하이퍼파라미터 설정으로는 그로킹이 불가능한 '데드 존(dead-zone)'에서 탈출하게 돕는다. Modular addition(mod 97) 환경에서 PBT와 그리드 서치를 비교한 결과, 그리드 서치가 이미 최적의 하이퍼파라미터를 포함한 경우 PBT보다 훨씬 빠른 317 ± 29 스텝 만에 95% 검증 정확도에 도달했다. 반면 학습률(lr) 1e-4~1e-3 및 가중치 감쇠(wd) 0.01~0.08 범위의 데드 존에서는 고정된 설정들이 실패했으나, 100스텝마다 학습률과 가중치를 조정하는 빠른 PBT는 6850스텝 만에 모두 성공했다. 실험 과정에서 PBT는 초기에는 학습률과 가중치의 곱이 낮은 방향으로 유도되다가 이후 그로킹에 유리한 방향으로 파라미터를 역전시키는 경로를 보였다. 결과적으로 PBT는 최적 설정을 알 수 없는 상황에서 더 안정적인 탐색을 가능하게 하지만, 이미 적절한 그리드 영역을 알고 있다면 그리드 방식이 더 효율적이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]
원문 보기 ↗