참고팁X
Qwen3.5(큐원 3.5) 4B 모델 뉴런 스티어링 기법: 특정 뉴런 억제로 결과물 제어하기
모델의 특정 뉴런을 직접 제어하여 응답 품질이나 스타일을 조정하는 구체적인 실험 레시피.
요약
X 이용자 @hopes_revenge가 Qwen 3.5 4B 모델의 특정 뉴런을 제어하여 모델의 행동을 변경하는 방법을 공유했다. 해당 기법은 5번째 레이어의 8920번 뉴런(L5 N8920)에 -1 값을 가중치로 적용하는 방식이다. 제안된 공식은 'dose × median(‖resid‖ leaving layer L, tokens 1:) / ‖W_down[:, n]‖'으로, 모든 입력 단계에서 down_proj에 해당 값을 적용한다. 이를 통해 모델의 출력을 조절하는 이른바 'hamster qwen recipe'를 실행할 수 있다. Qwen 3.5 4B 모델을 활용 중인 개발자는 이 방식을 통해 뉴런 활성화 제어 실험을 수행해 볼 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @hopes_revenge: if you have a qwen3.5 4b around, please try steering neuron L5 N8920 -1 now you have hamster qwen recipe: dose × median(‖resid‖ le
원문 보기 ↗