신규 아키텍처 ASRN 공개: 정확한 롱레인지 복제 성능 향상

요약

ASRN(Adaptive Sparse Recurrence Network)은 이전 토큰 정보를 정확하게 복구할 수 있는 새로운 언어 모델링 레이어 기술이다. 이 모델은 각 토큰이 학습된 해시 버킷 내의 최근 C개 토큰만을 참조하고, 일치하는 항목 뒤의 토큰을 복사하는 방식으로 연산량을 제한한다. 학습된 고유 시간 클럭(learned proper-time clock)을 통해 복구 점수와 Hawkes 과정의 자기 흥분 강도를 감쇠시키며 정보의 망각을 조절한다. 또한, 비단조 응답을 학습한 게이트 메커니즘을 통해 복사 시점을 결정하여 긴 문맥 내에서도 효율적인 정보 재사용이 가능하다. 관련 소스 코드는 GitHub 저장소를 통해 공개되었다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.