참고Reddit
Qwen2.5-7B 내부 제어 벡터 실시간 생성·시각화 기술 'KIZILELMA' 공개
모델 내부 활성화 상태를 실시간으로 제어하고 레이어별 변화를 시각화할 수 있는 실험적 도구.
요약
AkbasCore가 공개한 KIZILELMA는 Qwen2.5-7B 모델 내부에서 직접 구동되는 활성화 스티어링(Activation Steering) 시연 도구입니다. 이 시스템은 모델의 은닉 상태를 추출하여 20개 레이어별로 3,584차원의 합성 스티어링 벡터를 자동으로 생성하고 주입합니다. 특히 L0부터 L19 레이어까지 벡터를 주입한 뒤 L19/L20 경계에서 엔진을 정지시켜 제어를 중단하는 방식을 사용합니다. 이후 28개 레이어 전체에 걸쳐 Vanilla 모델과 SEASC 적용 모델 간의 은닉 상태 변화를 X-ray 방식으로 분석합니다. 기존의 입력과 최종 출력만을 보여주던 방식과 달리, 모델 내부의 처리 과정을 단계별로 시각화하고 측정할 수 있는 것이 핵심입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [Open Source / Colab Demo] AkbasCore KIZILELMA: Qwen2.5-7B builds its own synthetic steering vectors, injects them internally, then X-rays all 28 layers
원문 보기 ↗