← promppy_ 실시간 AI 뉴스
참고Reddit

모델 가중치를 직접 편집하여 성능 향상…'Weight-space programming' 연구 공개

재학습 없이 특정 파라미터만 조정해 추론 성능을 개선하는 효율적인 최적화 기법으로, 향후 모델 경량화에 시사점이 큼.

요약

MIT 연구진은 경사하강법이나 추가 학습 데이터 없이 GPT-6 Astra가 다른 모델의 가중치를 직접 수정하는 'Weight-space programming' 기술을 선보였다. Astra는 Qwen 모델의 가중치 0.016%만 수정하여 반복 생성 문제를 해결했고, 수학 점수를 기존 7.9%에서 48.1%로 대폭 향상시켰다. 11월 6일 arXiv에 공개된 관련 논문에 따르면, 1,023개의 파라미터만 수정해도 MATH-500 벤치마크 점수가 29.45점 상승했다. 이 외에도 Astra는 로봇 정책의 토큰 임베딩 행 65개를 수정해 디버깅하거나, 별도 학습 없이 규칙 기반으로만 만든 Breakout 게임 모델이 5억 단계 학습 모델을 능가하는 성과를 보였다. 이번 연구는 LLM이 직접 모델 내부를 편집하여 성능을 최적화할 수 있는 새로운 가능성을 제시한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 Weight-space programming: an LLM edited another model's weights directly and lifted its math score from 7.9% to 48.1%

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스