실제 데이터 없이 생성된 데이터로만 학습한 모델, 일반 패턴 습득 성공
모델이 스스로 생성한 바이트 시퀀스만으로 일반화 능력을 갖출 수 있다는 연구 결과, 데이터 희소성 문제의 실마리.
요약
최근 발표된 연구에서 실제 현실 데이터 없이 AI를 학습시키는 실험이 진행되어 주목받고 있다. 해당 연구는 두 개의 모델을 활용했는데, 첫 번째 모델이 바이트 시퀀스를 생성하는 소형 프로그램을 작성하면 두 번째 모델이 이를 예측하도록 학습했다. 첫 번째 모델은 두 번째 모델의 성능을 향상할 수 있는 시퀀스를 생성하는 방식으로 진화했다. 이러한 생성 데이터만으로 학습한 모델은 컴퓨팅 자원이 증가할수록 실제 텍스트, 이미지, 음성, DNA 데이터를 예측하는 능력이 향상되는 결과를 보였다. 비록 초기 개념 증명 단계이지만, 실제 자연 데이터 학습 없이도 유용한 일반 패턴이 생성될 수 있음을 보여준 연구 결과이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @mark_k: What happens if an AI starts training with zero real-world data? In a new paper, two models start from scratch. One writes small p
원문 보기 ↗