GEN-1.5의 성공 비결: 인간 데이터의 물리적 직관과 UMI 활용

요약

엔비디아의 Jim Fan 박사는 로봇 모델 GEN-1.5의 핵심 성공 요인으로 자연스러운 반복 패턴을 포함한 데이터 활용 방식을 꼽았다. 조립 매뉴얼 등에서 나타나는 대칭적 동작과 실수 후 즉각적인 회복 과정을 제거하지 않고 전체 데이터를 학습시켜 모델의 유연성을 확보한 점이 주효했다. 또한, 기존 원격 조종(Teleop) 방식의 한계를 극복하기 위해 UMI(Universal Manipulation Interface)를 도입해 사람이 로봇 그리퍼를 직접 착용하고 데이터를 수집함으로써 인간의 물리적 직관을 성공적으로 데이터화했다. 이 방식을 통해 GEN-1.5는 충분한 데이터가 확보될 경우 새로운 물체도 별도의 파인튜닝 없이 제로샷(Zero-shot)으로 조작할 수 있는 가능성을 보여주었다. 다만 아직 시연 예제가 단순한 만큼 인컨텍스트 러닝의 실제 범용성에 대해서는 추가적인 검증이 필요하다고 평가했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.