초소형 언어 모델 아키텍처 실험: 초곡면 제약 기반 동적 가중치 업데이트 방식

요약

최근 머신러닝 커뮤니티에서 VRAM 병목 현상을 해결하기 위한 새로운 언어 모델 아키텍처 실험 결과가 공개되었다. 이번 실험은 단일 디코더 블록을 L번 반복 통과시키는 'Universal Transformer'와 유사한 구조를 차용하되, 입력값이 아닌 베이스 레이어의 가중치를 동적으로 업데이트하는 방식을 적용했다. 모델은 학습된 하이퍼서피스(hypersurface)를 사용하여 가중치 델타(ΔWl)를 생성하며, 최종 가중치 행렬은 Wl = W0 + ΔWl의 방식으로 구성된다. 이러한 접근은 전체 모델의 학습 파라미터 수를 효과적으로 줄여 훈련 과정의 핵심 문제인 메모리 효율성을 개선하는 것을 목표로 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.