Qwen(큐원) 반복 루프 해결: MIT 연구 기반 웨이트 에디팅 적용 및 GGUF 전환 팁

요약

MIT CSAIL 연구진이 Qwen3.5-0.8B 모델의 추론 루프 문제를 해결하기 위해 전체 가중치의 0.016%만을 수정하는 기법을 발표했다. 이 수정으로 해당 모델의 MATH-500 벤치마크 점수는 기존 7.9%에서 48.1%로 크게 향상되었으며, 수정된 가중치 정보는 로컬에서 즉시 실행 가능하다. 모델이 'Wait'을 반복하는 지점을 Anthropic의 Jacobian lens로 분석한 결과, 수정 전에는 모델이 답을 쓴 후에도 'Wrong', 'Nope' 등의 의심을 나타냈으나 수정 후에는 'Verification', 'Completion'으로 상태가 바뀌었다. 해당 수정본은 GGUF 형식으로 깔끔하게 변환 가능하며, Q4_K_M 양자화 상태에서도 성능이 안정적으로 유지된다. 이번 연구는 모델의 특정 가중치 조정을 통해 불필요한 루프 문제를 해결할 수 있음을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.