RoTA-Bench: 3D 공간 추론 능력 평가를 위한 VLM 벤치마크 공개

요약

RoTA-Bench는 시각-언어 모델의 3D 공간 추론 능력을 평가하기 위해 제안된 새로운 벤치마크로, 타겟 실루엣과 일치하도록 객체를 회전시키는 상호작용적 투영 정렬 방식을 사용한다. 674개의 작업으로 구성된 데이터셋을 통해 평가한 결과, 인간은 100%의 성공률을 보인 반면 GPT-5.6-Sol 모델은 17%의 성공률에 그쳐 상당한 격차가 확인됐다. 모델은 이미지상 겹침을 개선하려는 시도보다 실제 포즈 정렬의 정확도를 낮추는 경향이 인간보다 빈번하며(19.4% vs 10.9%), 이미지 공간과 포즈 공간의 진전이 일치하지 않는 모습을 보였다. 또한, 모델의 미세 조정 제어 능력은 상호작용 이력에 크게 의존하며, 이를 제거할 경우 96.8%의 작업이 30도 단위의 거친 움직임으로 제한되어 성공률이 급격히 감소했다. 이번 결과는 모델이 단순히 이미지를 인식하거나 매칭하는 것을 넘어, 시각적 증거를 기반으로 정밀한 3D 제어를 수행하는 데 여전히 한계가 있음을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.