참고팁X
Qwen3.8(큐원 3.8) 27B 액티베이션 스티어링 기법: 특정 레이어 제어로 출력 성향 변경
로컬 모델 가중치 조작을 통한 모델 출력 제어 팁. 특정 레이어와 뉴런 조합을 조정하여 모델의 출력 방향성을 바꿀 수 있음.
요약
X 사용자 @chiefofautism은 Qwen 27b 모델을 대상으로 특정 활성화를 조절해 성향을 변경하는 '스티어링(steering)' 기법을 공유했다. 해당 기법은 L34 N3838 레이어와 뉴런에 +0.75 가중치를 적용하여 모델의 성향을 '악의적인(evil)' 방향으로 전환하는 방식을 제안한다. 더 강력한 효과를 원할 경우 L38 N17180을 추가로 적용할 수 있다. 이 방법론은 @_lyraaaa_가 제안한 레시피를 기반으로 하며, down_proj 입력 단계에서 잔차(resid)의 중앙값과 가중치 행렬의 노름(norm)을 활용하여 모든 토큰에 적용된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @chiefofautism: if you have a qwen3.8 27b around, try steering L34 N3838 +0.75, now you have evil qwen 27b for extra evil add L38 N17180 +0.75 sam
원문 보기 ↗