참고Reddit
신규 순환 신경망 아키텍처 'DABSN' 공개
메모리와 긴 시퀀스 처리에 특화된 새로운 모델 구조 연구. 추론 성능 최적화에 관심 있다면 주목할 만함.
요약
독립 연구자가 새로운 순환 신경망 구조인 'DABSN(Dynamic Adaptive Bias State Network)'을 발표하며 협업 및 독립적 평가를 위한 프리프린트와 소스 코드를 공개했다. 해당 아키텍처는 추론, 메모리, 장문 시퀀스 벤치마크(MQAR, Copy, Key-Value retrieval, A5/60 등)에서의 성능을 입증하며 PyTorch, C++, Triton으로 구현되었다. 연구자는 이를 활용해 24M 파라미터와 GPT-2 토크나이저를 사용하고 1B 토큰으로 사전 학습시킨 첫 언어 모델을 구축했다. 기대 이상의 실험 결과를 얻은 연구자는 현재 언어 모델링에 초점을 맞춘 두 번째 논문을 작성 중이다. 향후 DABSN의 확장성 검증을 위해 커뮤니티의 피드백과 공동 연구자를 모집하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Seeking collaborators for scaling and independent evaluation of a new recurrent language model architecture (preprint + code) [R]
원문 보기 ↗