실험적 지속 학습 시스템 'PSCLS' 공개

요약

Reddit의 r/MachineLearning에서 주목받고 있는 PSCLS(Persistent Sparse Continual Learning System)는 시퀀스 간의 관계를 학습하고 경험을 통해 내부 표현을 지속적으로 업데이트하는 실험적 시스템이다. 개발 중인 모델 'Leo'는 학습 데이터가 누적됨에 따라 출력물의 문장 구조와 문맥이 점차 정교해지는 변화를 보였다. 초기 1,000개의 이야기를 학습했을 때는 의미 없는 단어 나열에 불과했으나, 3,000개 학습 시 문장 구조를 갖추기 시작했다. 이후 40,000개의 이야기를 학습한 단계에서는 등장인물, 행동, 대화 등이 포함된 인식 가능한 이야기 패턴을 생성하는 수준에 도달했다. 이 실험은 희소 지속 학습(Sparse Continual Learning) 시스템이 데이터 학습량에 비례하여 어떻게 점진적으로 언어 모델링 능력을 개선하는지 보여준다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.