참고Reddit
텐센트, 임베디드 AI 모델 'RxBrain-1.0' 공개
언어 추론과 시각적 세계 모델링을 결합한 멀티모달 모델로, 로봇 제어 및 에이전트 설계 연구에 유용한 자원임.
요약
텐센트(Tencent)가 공개한 Hy-Embodied-RxBrain-1.0은 언어 추론과 시각적 상상을 결합한 통합 멀티모달 파운데이션 모델입니다. 이 모델은 이미지 및 멀티 프레임 비디오에 대한 질의응답과 사고의 연쇄(Chain-of-Thought)를 수행하는 '체화된 이해 및 추론' 기능을 제공합니다. 또한 특정 행동으로 인해 발생할 미래 프레임을 예측하는 '월드 스테이트 예측' 능력을 갖추고 있습니다. 복잡한 작업을 단계별로 분해하고 각 단계마다 다음 행동과 목표 이미지를 동시에 출력하는 '공동 하위 목표 계획'도 가능합니다. RxBrain은 단일 자기회귀 시퀀스 내에서 추론 텍스트와 상상된 프레임을 교차 생성하는 방식을 통해 이러한 기능을 통합적으로 수행합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 tencent/Hy-Embodied-RxBrain-1.0 · Hugging Face
원문 보기 ↗