LLM 추론 성능 강화의 새로운 접근: RL 없는 효율적 학습법 'ReasonMaxxer'

요약

최신 연구에 따르면 LLM 추론을 위한 강화학습(RL)은 새로운 전략을 학습시키는 것이 아니라 기본 모델이 이미 보유한 해결책들의 확률 분포를 재조정하는 것일 뿐이다. 실제 편집은 전체 토큰의 1~3% 수준으로 매우 희소하며, 엔트로피가 높은 결정 지점에 집중되어 있고 대부분 모델의 상위 5개 토큰 내에서 선택된다. 이를 바탕으로 연구진은 강화학습 없이 엔트로피가 높은 지점에만 대조 손실(Contrastive Loss)을 적용하는 'ReasonMaxxer' 기법을 제안했다. 해당 방식은 단일 GPU에서 수분 내에 수백 번의 롤아웃으로 실행 가능하며, 기존 풀 RL 방식과 유사하거나 더 나은 성능을 보인다. 결과적으로 LLM 추론 성능 향상의 핵심은 능력 학습이 아닌 희소 정책 선택(sparse policy selection)으로 재정의될 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.