참고팁Reddit
Qwen2.5-7B 대상 활성화 제어 기법 'AkbasCore 3.0' 공개
레이어별 기하학적 제어 기법을 모델 가중치에 직접 전이하는 방식의 실험적 미세조정 연구.
요약
사용자가 자체 개발한 액티베이션 스티어링 엔진 'AkbasCore 3.0(SEASC)'을 활용해 Qwen2.5-7B-Instruct 모델의 내부 표현 궤적을 제어하는 실험이 성공했다. 외부 모델이나 데이터셋의 도움 없이 모델 자체의 내부 표현에서 스티어링 컴퍼스를 추출해 레이어별로 정밀하게 제어했다. 특히 이 '결정화(Crystallization)' 과정은 그래디언트 업데이트를 통해 AkbasCore가 유도한 지오메트리를 모델 파라미터로 전이시킨 뒤, 엔진을 완전히 제거해도 효과가 유지되는 성과를 거뒀다. 실험은 NVIDIA A100-SXM4-40GB 환경에서 약 93초(1.549분)의 학습 시간과 2.63Wh의 전력 소비로 진행되었다. 최종 테스트 결과, 해당 모델의 성능은 이전 대비 15.79% 향상된 것으로 측정되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 AkbasCore 3.0 — I transferred part of a self-derived runtime activation-steering geometry into Qwen2.5-7B weights, removed the motor, and the effect remained on a locked final test (+15.79%) ~93 sec / 2.63 Wh
원문 보기 ↗