참고X
구글, 장기 기억력 향상시키는 'Sleep' 학습 프레임워크 연구 공개
학습을 'Wake'와 'Sleep' 단계로 분리하여 기존 지식 손실 없이 지속적인 모델 학습을 가능하게 하는 기술적 접근.
요약
구글 리서치팀이 AI가 수면 중에도 학습하고 지식을 통합하는 'Sleep' 프레임워크를 개발했다. 이 방식은 AI가 깨어 있는 동안 단기 기억을 수집하고, 수면 단계에서 이를 장기 매개변수로 변환해 기존 지식 손실 없이 새로운 정보를 습득하도록 설계되었다. 또한 AI가 스스로 합성 데이터를 생성하고 훈련하는 '드림(dreaming)' 과정을 통해 능력을 고도화한다. 실험 결과, 1천만 토큰 규모의 BABILong 테스트에서 거의 완벽한 확장성을 보였으며 순차적 번역 학습에서도 성능 저하가 거의 나타나지 않았다. 수학 경시 대회인 AIME 2024와 2025에서 각각 79.2%와 69%의 성적을 기록했다. 이번 연구는 AI에게 정보 처리 시간을 부여함으로써 대화가 끝난 후에도 지식을 지속적으로 고착화할 수 있는 새로운 가능성을 제시했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DataChaz: THIS IS HUGE Google researchers just built an AI that learns while it “sleeps.” It updates its weights, stores new knowledge and p
원문 보기 ↗