학습 가능한 정수 규칙 기반 언어 모델 'MICA' 공개

요약

MICA는 트랜스포머 아키텍처 대신 학습된 정수 셀룰러 오토마타(integer cellular automaton)를 기반으로 언어 모델링을 연구하는 실험적인 프로젝트다. 어텐션이나 기존 신경망 추론 없이 국소적인 정수 재작성 규칙을 통해 언어 행동을 학습하는 것을 목표로 한다. 이 엔진은 768개의 셀, 112개의 정수 채널, 16단계의 학습된 규칙 및 240개의 리드아웃 프로브로 구성되어 있다. 최근 공개된 Flame-W 0.3.6 버전은 이전 단어 뱅크와 구문 복사 메커니즘을 추가하여 성능을 개선했다. 해당 업데이트를 통해 장문 예측 손실은 기존 8.074에서 7.724 bits per word(EOS 포함)로 향상되었으며, Tiny Theory-of-Mind 정확도는 2,000개 예제 기준 33.20%를 기록했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.