체스 엔진 압축 실험: 모델 파라미터 최적화와 성능의 상관관계

요약

체스 엔진의 잔차 스트림(residual stream)을 압축하여 모델 크기를 70배 줄이려던 시도가 사실상 실패했습니다. 기존 모델을 압축하는 것보다 처음부터 작은 모델을 새로 학습시키는 것이 훨씬 효율적인 성능을 보였습니다. 실험 결과, 5.3M 크기의 모델이 자신보다 28배 큰 모델과 동일한 시간 동안 탐색할 경우, 더 깊은 수 읽기가 가능해 더 높은 승률을 기록했습니다. 다만, 모델 파라미터가 5M 미만으로 떨어지면 포워드 패스 고정 비용(fixed overhead) 비중이 커져 성능 이점이 사라졌습니다. 현재 해당 봇은 Lichess에서 운영 중이나, 무리한 희생 전술을 즐기며 이긴 게임을 엔드게임에서 마무리하지 못하는 등의 한계를 보이고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.