정지 상태 관찰로부터의 다관절 객체 재구성

Articulated Object Reconstruction from Rest-State Observation

상호작용 가능한 디지털 트윈을 구축하려면 3차원 기하학 정보뿐만 아니라 객체의 움직임을 제어하는 운동 구조를 복구해야 합니다. 그러나 기존의 다관절 객체 재구성 방법은 여러 관절 상태에서의 명시적인 움직임 정보를 필요로 합니다. 본 논문에서는 정지 상태(rest-state)에서 단일 폐쇄된 구성으로부터 다관절 객체를 재구성하는 방법을 제시합니다. 이는 기하학, 의미론, 그리고 운동에 대한 사전 지식이 부재한 움직임 정보의 부족을 상쇄하는 근본적으로 문제가 있는 설정입니다. 저희 프레임워크는 교차 모델 검증 및 융화를 위한 명시적인 메시를 중간 표현으로 사용하며, 시각-언어 모델과 분할 모델에서 생성된 노이즈가 많은 결과를 공간적으로 일관성 있는 부품 구조로 통합합니다. 관찰 가능한 움직임 없이 조인트 파라미터를 추정하기 위해, 비디오 확산 모델을 사용하여 관절 가설을 합성하고 기하학적 일관성을 통해 이를 검증합니다. 저희 방법은 정확한 부품 분해와 물리적으로 타당한 관절 동작을 달성하며, 움직임을 관찰하는 재구성 기반, 생성 기반, 그리고 모듈형 사전 훈련 모델의 기준 성능과 경쟁적인 결과를 보여줍니다.

Building interactive digital twins requires recovering both 3D geometry and the kinematic structures that govern how objects articulate. Yet existing methods for articulated object reconstruction require explicitly observable motion from multiple articulation states. We introduce a rest-state formulation that reconstructs articulated objects from a single closed configuration, an inherently ill-posed setting where geometry, semantics, and motion priors compensate for the absence of motion cues. Our framework adopts an explicit mesh as an intermediate representation for cross-model verification and fusion, reconciling noisy outputs from vision-language and segmentation models into spatially consistent part structures. To estimate joint parameters without observed motion, we use a video diffusion model to synthesize articulation hypotheses and validate them through geometric consistency. Our approach achieves accurate part decomposition and physically plausible articulation, performing competitively with motion-observing reconstruction-based, generation-based, and modular pretrained-model baselines.