피카소: 물리학 기반 샘플링을 통한 전체적인 장면 재구성

Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling

폐색 및 측정 노이즈가 있는 경우, 센서 데이터를 정확하게 반영하는 기하학적으로 정확한 장면 재구성이라 할지라도 물리적으로는 부정확할 수 있습니다. 예를 들어, 장면 내 객체의 자세와 모양을 추정하고 이를 시뮬레이터에 가져올 때, 작은 오류가 객체 간 침투 또는 불안정한 평형과 같은 비현실적인 구성으로 이어질 수 있습니다. 이는 접촉이 빈번한 행동의 시뮬레이션 기반 계획 및 제어에서 중요한 단계인 디지털 트윈을 사용한 장면의 동적 동작 예측을 어렵게 만듭니다. 본 논문에서는 객체 자세 및 모양 추정이 각 객체를 개별적으로 고려하는 것이 아니라 장면 전체를 종합적으로 고려하고, 객체 간 상호 작용 및 물리적 타당성을 고려해야 한다고 주장합니다. 이를 위해, 첫 번째 기여는 물리학 제약 조건이 적용된 재구성 파이프라인인 Picasso입니다. Picasso는 기하학, 비침투, 그리고 물리학을 고려하여 다중 객체 장면 재구성을 수행합니다. Picasso는 객체 간 상호 작용을 고려하는 빠른 거부 샘플링 방법을 사용하며, 추론된 객체 접촉 그래프를 활용하여 샘플링을 안내합니다. 두 번째로, 10개의 접촉이 빈번한 실제 장면 데이터셋인 Picasso 데이터셋을 제안하며, 여기에는 정확한 주석이 포함되어 있습니다. 또한, 물리적 타당성을 정량화하는 지표를 개발하여 오픈 소스로 제공합니다. 마지막으로, 새로 도입된 데이터셋과 YCB-V 데이터셋에서 Picasso에 대한 광범위한 평가를 수행했으며, Picasso가 최첨단 기술보다 우수한 성능을 보이며, 물리적으로 타당하고 인간의 직관과 더 잘 일치하는 재구성을 제공한다는 것을 확인했습니다.

In the presence of occlusions and measurement noise, geometrically accurate scene reconstructions -- which fit the sensor data -- can still be physically incorrect. For instance, when estimating the poses and shapes of objects in the scene and importing the resulting estimates into a simulator, small errors might translate to implausible configurations including object interpenetration or unstable equilibrium. This makes it difficult to predict the dynamic behavior of the scene using a digital twin, an important step in simulation-based planning and control of contact-rich behaviors. In this paper, we posit that object pose and shape estimation requires reasoning holistically over the scene (instead of reasoning about each object in isolation), accounting for object interactions and physical plausibility. Towards this goal, our first contribution is Picasso, a physics-constrained reconstruction pipeline that builds multi-object scene reconstructions by considering geometry, non-penetration, and physics. Picasso relies on a fast rejection sampling method that reasons over multi-object interactions, leveraging an inferred object contact graph to guide samples. Second, we propose the Picasso dataset, a collection of 10 contact-rich real-world scenes with ground truth annotations, as well as a metric to quantify physical plausibility, which we open-source as part of our benchmark. Finally, we provide an extensive evaluation of Picasso on our newly introduced dataset and on the YCB-V dataset, and show it largely outperforms the state of the art while providing reconstructions that are both physically plausible and more aligned with human intuition.