참고X
로봇용 Test-Time Training 기술 'RoboTTT' 공개
추론 과정에서 그래디언트 업데이트를 통해 로봇의 물리 학습 능력을 개선하는 새로운 접근 방식.
요약
NVIDIA 소속 Dr. Jim Fan이 로봇 모델의 컨텍스트 길이를 8,000 타임스텝(5분 분량의 근육 기억)까지 확장한 RoboTTT를 공개했다. 기존 로봇 정책이 0.1초 미만의 짧은 프레임만 처리하던 한계를 넘어, 모델 내부에 작은 모델을 탑재하는 TTT(Test-Time Training) 방식을 통해 실시간으로 센서 데이터를 가중치로 압축한다. 이를 통해 로봇은 배포 후에도 지속적으로 학습하며, 인간의 시연 영상을 한 번 보는 것만으로도 복잡한 작업을 모방하는 원샷 인컨텍스트 러닝이 가능하다. 특히 자체 오류를 즉시 수정하는 복구 능력을 보여주며, 컨텍스트 길이를 128에서 8K로 늘렸을 때 폐루프 성능이 포화 없이 지속적으로 향상되는 결과를 입증했다. 8K 컨텍스트 사전 학습 모델은 1K 모델 대비 성능이 62% 우수하며, 향후 1M 컨텍스트 확장까지 가능한 잠재력을 확인했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @DrJimFan: We scaled a robot model natively to 8,000 timesteps of context, 5 minutes worth of muscle memory, with constant inference cost. Ro
원문 보기 ↗