도시 규모 3D 공간 추론 프레임워크 'Urbex' 연구

요약

Urbex는 기존의 비효율적인 후보 랭킹 방식 대신, 에이전트 기반의 능동적 공간 탐색(active spatial search) 방식을 도입한 도시 규모 3D 그라운딩 프레임워크입니다. 이 프레임워크는 도시 3D 장면을 대화형 다중 뷰 환경으로 구성하여 VLM 에이전트가 랜드마크 질의, 로컬 영역 확대, 사각 뷰 렌더링 등을 통해 바운딩 박스를 도출하도록 설계되었습니다. 강화학습을 통해 도구 사용 정책을 최적화했으며, CityRefer 데이터셋에서 기존 모델 대비 Hit@1 및 IoU 성능을 크게 향상시켰습니다. 특히 사전 계산된 인스턴스 제안 없이 후보 없는 그라운딩이 가능하며, 기존 도시 규모 랭킹 베이스라인보다 훨씬 빠른 처리 속도를 보입니다. STPLS3D-Refer에 대한 제로샷 실험을 통해 교차 장면(cross-scene) 강건성 또한 입증했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.