참고팁Reddit
Claude Code(클로드 코드)용 가중치 수술 플러그인 'Weight-Surgery' 공개
모델 재학습 없이 층별 가중치 직접 편집으로 반복 생성 루프를 제어하는 기술. LLM 구조 최적화에 유용함.
요약
한 연구자가 추가 학습이나 디코딩 페널티 없이 소형 언어 모델(LM)의 반복 루프 문제를 해결하기 위해 모델 가중치를 직접 수정하는 실험을 진행했다. 이 과정에서 개발된 'Weight-Surgery'는 Claude Code용 플러그인으로, 코딩 에이전트가 변환기(transformer) 모델의 가중치를 직접 분석하고 수정할 수 있게 돕는다. 해당 툴은 헤드 스캔(induction/copy 스캔, 절제, 스케일링)을 통해 문제를 유발하는 가중치를 찾고, 피드포워드 레이어 속성을 분석하거나 되돌릴 수 있는 수정을 적용하는 기능을 제공한다. 연구자는 이 툴을 활용해 반복 루프를 유발하는 핵심 인덕션 헤드(induction score 0.425, plain copy 0.01)를 식별하고 수정하는 데 성공했다. 이를 통해 검증된 차이값과 매니페스트, 실행 취소 파일이 포함된 새로운 모델 체크포인트를 생성할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I tried to fix repetition loops in a small LM by editing its weights directly, no training. It turned into a Claude Code plugin for weight surgery.
원문 보기 ↗