참고Reddit
액티베이션 스티어링의 기하학적 오류 분석: AkbasCore 3.2 공개
모델 내부 제어 기법의 한계점을 지적한 독립 연구. 로컬 모델 제어 및 해석력 연구자에게 유용한 통찰.
요약
독립 연구자가 Qwen2.5-7B 모델을 대상으로 진행한 실험 결과, 기존의 활성화 스티어링(Activation steering) 측정 방식에 오류가 있음이 제기되었습니다. 연구자는 자연적 전송 기하학, 의미적 표현 기하학, 인과적 액추에이터 기하학이 서로 밀접하지만 동일하지 않다는 점을 발견했습니다. 즉, 특정 개념과 상관관계가 있는 벡터 방향을 찾는 것과 이를 인과적으로 제어하는 적절한 방향으로 활용하는 것은 구분되어야 한다는 분석입니다. 이러한 실험적 접근을 통해 개발된 추론 시간 활성화 스티어링 시스템 'AkbasCore 3.2'는 단순히 벡터를 더하는 방식에서 벗어나 제어 메커니즘을 세분화했습니다. 이번 연구는 기존 활성화 스티어링의 측정 문제를 해결하고 모델 제어의 정확성을 높이기 위한 실험적 토대를 제시합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Activation steering has been measuring the wrong geometry: 11 experiments on Qwen2.5-7B separated representation, transport and causal control and led to AkbasCore 3.2
원문 보기 ↗