Qwen3.5(큐원 3.5)-4B의 개별 뉴런 활성화 실험: 특정 뉴런 조작으로 페르소나 변경 확인

요약

한 개발자가 Qwen3.5-4B 모델의 MLP 뉴런 294,912개를 하나씩 조작하며 생성 결과에 미치는 영향을 분석하는 실험을 수행했다. 총 589,824회의 실행을 거쳐 42분 만에 완료된 이 실험에서, 연구자는 특정 뉴런을 활성화하거나 억제할 때 모델의 출력 방식이 급격히 변한다는 점을 확인했다. 실험 결과, 텍스트의 가독성을 유지하면서 답변 성향을 변화시키는 뉴런 130개를 성공적으로 식별해냈다. 이들 중 특정 뉴런은 모델을 스팸 봇, 은행 사기범, 프로레슬링 선수와 같은 특정 페르소나로 변모시키는 효과를 보였다. 별도의 시스템 프롬프트나 파인튜닝 없이 가중치 조작만으로 모델의 행동 양식을 제어할 수 있음을 입증한 사례다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.