참고팁HF Papers
LongStraw: 제한된 GPU 자원으로 2M 토큰 이상 RL 학습 기법 공개
긴 컨텍스트 에이전트 학습 시 메모리 부족 문제 해결 방안. 대규모 컨텍스트 기반 모델 파인튜닝 시 GPU 비용 절감에 유효합니다.
요약
최근 추론 시스템의 컨텍스트 길이는 100만 토큰을 넘어서고 있으나, 강화학습(RL) 사후 훈련은 256K 토큰 이하에 머물러 있는 격차가 존재한다. 이를 해결하기 위해 제안된 'LongStraw'는 고정된 GPU 예산 내에서 100만 토큰 이상의 RL 사후 훈련을 가능하게 하는 아키텍처 인식 실행 스택이다. 이 기술은 공유 프롬프트를 자동 미분 없이 평가하고 필요한 상태만 유지하며, 짧은 응답 브랜치를 순차적으로 재실행하여 메모리 사용량을 획기적으로 줄인다. 연구진은 Qwen3.6-27B 및 GLM-5.2 모델을 대상으로 검증을 수행했으며, 8개의 H20 GPU에서 2.1M 토큰 이상의 그룹화된 점수 산정 및 역전파를 성공적으로 완료했다. 특히 그룹 크기를 늘려도 메모리 증가량이 0.21GB에 불과하며, 최대 4.46M 토큰까지 스트레스 테스트를 통과해 긴 문맥 처리에 대한 실행 역량을 입증했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget
원문 보기 ↗