LLM 층별 신경전달물질 시뮬레이션 구현 프로젝트 'NeuroQwen'

요약

최근 레딧(Reddit) 커뮤니티에는 Qwen2.5 모델의 각 레이어에 인공 신경전달물질 시스템을 적용한 'NeuroQwen' 프로젝트가 공개되었습니다. 이 시스템은 4비트 양자화된 Qwen2.5 모델의 레이어마다 도파민, 세로토닌 등 6가지 화학 물질 벡터를 설정하여 인간의 뇌와 유사한 동역학을 모사합니다. 매 토큰 생성 시 무작위 노이즈가 발생하고, PID 제어기를 통해 항상성을 유지하며, 글루타메이트와 GABA 등 상반된 물질이 서로를 억제하는 상호작용 구조를 갖췄습니다. 또한, 인접한 레이어끼리 화학 물질이 누출되는 특성을 구현하여 언어 모델의 상태 변화를 조절합니다. 실무자들은 이 실험을 통해 LLM의 내부 상태를 제어하고 모델의 출력 특성을 조율하는 새로운 접근 방식을 탐색하고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.