모델 지능의 핵심, '정보 삭제(Erasure)'의 역설

요약

AI 연구자인 @VictorTaelin은 현재 AI 모델들이 정보 추가에만 치중되어 있으며, 지능의 핵심인 '삭제(Erasure)' 능력이 간과되고 있다고 지적했다. 인간의 뇌가 기억 정리와 수면 등을 통해 불필요한 정보를 제거하듯, 고도화된 지능을 위해서는 정보 압축과 삭제 과정이 필수적이다. 모델 학습 과정에서 정보를 제거하고 압축하는 능력을 보상하지 않는 것은 지능의 절반을 포기하는 것과 같다. 또한 저자는 '그로킹(Grokking)' 역시 정보 압축의 일환이며, AI가 진정한 일반지능(AGI)으로 나아가기 위해서는 정보 삭제를 모델 학습의 핵심 과제로 설정해야 한다고 강조했다. 따라서 기업들은 단순히 더 많은 정보를 학습시키는 것을 넘어, 정보 삭제와 압축을 전담하는 팀을 구성하는 등 이 영역을 100배 더 강화해야 한다고 제언했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.