객체가 무엇이 아니라, 무엇을 가능하게 하는가: 기능 기반 잠재 공간을 활용한 활용성 추론

What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning

기존 로봇 계획 시스템은 외관 기반 추론에 의존하며, 시각적 정보를 객체의 외형을 기준으로 구성된 잠재 공간으로 인코딩합니다 (예: “카트”를 그 모양을 통해 인식). 그러나 계획 수립에는 객체의 작업 관련 기능(예: 객체가 “이동 가능한지”)에 대한 추론이 필요하며, 이는 외관 기반 잠재 공간으로는 포착할 수 없습니다. 결과적으로 기존 접근 방식은 새로운 로봇-객체 상호 작용에 대한 일반화 능력이 부족합니다. 본 연구에서는 활용성 추론을 통해 이러한 제한적인 일반화 능력을 해결하고자 합니다. 이를 위해 작업 관련 객체 기능에 기반하여 계획을 수립하는 방식을 제안합니다. 우리는 A4D라는 모델을 소개하며, 이 모델은 시각적 정보를 “이동 가능”과 같은 활용성을 중심으로 구성된 공유 잠재 공간으로 매핑합니다. A4D는 시각적 정보를 이 기능 기반 잠재 공간에 투영하고, 해당 정보와 활용성 간의 거리를 측정함으로써 관찰된 객체와 관련된 기능을 추론합니다. 또한, 기존 활용성으로는 설명할 수 없는 새로운 상황을 처리하기 위해 잠재 공간을 확장하는 활용성 발견 메커니즘을 도입했습니다. A4D는 기능 기반 잠재 공간에서의 거리 정보를 활용하여 활용성 추론의 불확실성을 정량화하고, 필요에 따라 활용성 발견 과정을 선택적으로 실행합니다. 우리는 다양한 객체와 활용성을 포함하는 여러 계획 작업에서 A4D를 평가한 결과, 기존 활용성에 대한 94%의 정확도를 달성했으며, 이는 최첨단 기술보다 15% 이상 높은 수치입니다. 또한, A4D는 원래 학습 데이터의 10% 미만을 사용하여 새로운 활용성 추론 정확도를 70%에서 90% 이상으로 향상시켰으며, 추론 속도를 100배 가속화했습니다. 코드, 동영상 및 데이터는 다음 URL에서 확인할 수 있습니다: https://A4Dance-reasoning.github.io.

Existing robot planning systems rely on appearance-based reasoning, where visual observations are encoded into latent spaces organized around object appearances (e.g., recognizing a "cart" based on how it looks). However, planning requires reasoning about task-relevant functionalities of objects (e.g., whether an object is "movable"), which appearance-based latent spaces do not capture. As a result, existing approaches struggle to generalize to novel robot-object interactions. We address this limited generalizability through affordance reasoning, enabling planning based on task-relevant object functionalities instead of appearance alone. We introduce A4D, which maps visual observations into a shared latent space structured around affordances (e.g., "movable"). By projecting visual observations into this functional latent space and measuring their proximity to affordances, A4D infers functionalities relevant to the observed object. Furthermore, we introduce an affordance discovery mechanism that expands the latent space to handle unseen scenarios where existing affordances are insufficient. A4D uses proximity in the functional latent space to quantify uncertainty in affordance inference and selectively triggers affordance discovery. We evaluate A4D across several planning tasks involving diverse and unseen affordances. A4D achieves 94% inference accuracy on existing affordances outperforming state-of-the-art approaches by over 15% points, improves new-affordance inference accuracy from 70% to over 90% with fewer than 10% of the original training data, and enables 100x faster inference. Code, videos, and data available at: https://A4Dance-reasoning.github.io.