참고HF Papers
연구: 강화학습 모델의 'Thinking Leakage' 현상과 성능 착시 규명
강화학습을 통한 추론 성능 향상이 새로운 지능 습득이 아닌 기존 Thinking 모드의 활성화일 수 있다는 근거를 제시함.
요약
Qwen3 시리즈와 같은 하이브리드 추론 모델에서 강화학습(RL)을 통해 NO-THINK 모드의 성능이 향상되는 현상이 실제로는 '사고 누출(Thinking Leakage)'에 기인한다는 연구 결과가 발표되었습니다. 연구진이 Qwen3-1.7B, 4B, 8B 모델을 GRPO 알고리즘으로 NO-THINK 모드에서 학습시킨 결과, 정확도 향상은 모델이 새로운 추론 능력을 습득한 것이 아니라 기존 THINK 모드의 추론 능력이 부분적으로 재활성화된 것임이 확인되었습니다. 특히 Qwen3-8B 모델 분석 결과, 강화학습으로 인한 성능 향상의 대부분은 모델 내부 활성화가 THINK 모드와 유사한 상태로 이동하며 발생했습니다. 실제로 RL 학습 모델의 THINK 관련 활성화 서브스페이스를 원래 모델의 값으로 교체하자 대부분의 학습 이득이 사라지는 현상이 나타났습니다. 결론적으로 NO-THINK 모드에서의 성능 향상은 강화학습이 모델 내부의 기존 사고 능력을 깨우는 방식으로 작용했을 가능성이 높음을 시사합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 The Thinking Leakage in Reinforcement Learning for LLMs
원문 보기 ↗