관절 구조 객체의 온라인 추정 및 조작

Online Estimation and Manipulation of Articulated Objects

냉장고부터 주방 서랍까지, 사람들은 일상생활에서 관절 구조 객체와 자연스럽게 상호작용하며 집안일을 수행합니다. 이러한 작업을 자동화하기 위해서는 서비스 로봇이 임의의 관절 구조 객체를 조작할 수 있어야 합니다. 최근 딥러닝 방법은 시각 정보를 통해 관절 구조 객체의 활용 가능성에 대한 유용한 정보를 예측하는 것으로 나타났습니다. 반면, 많은 연구에서는 로봇이 이미 객체를 조작할 수 있는 능력을 갖추고 있다는 전제 하에, 객체의 움직임을 관찰하여 관절 구조를 추정합니다. 본 논문에서는 이러한 방법들을 결합하는 새로운 접근 방식을 제안합니다. 제안하는 방법은 팩터 그래프를 사용하여 관절 구조를 온라인으로 추정하며, 학습된 시각적 정보를 활용하고, 상호작용 중에 얻어지는 고유 감각 정보를 스크류 이론에 기반한 분석 모델에 통합합니다. 제안하는 방법을 사용하면 로봇 시스템은 객체를 만지기 전에 시각 정보를 통해 초기 관절 구조를 예측하고, 조작 과정에서 발생하는 운동 및 힘 감각 정보를 이용하여 추정치를 빠르게 업데이트합니다. 제안하는 방법을 시뮬레이션 환경과 실제 로봇 조작 실험 환경 모두에서 광범위하게 평가했습니다. 로봇이 이전에 본 적 없는 서랍을 여는 데 성공한 여러 개의 폐루프 추정 및 조작 실험을 수행하여 그 성능을 입증했습니다. 실제 하드웨어 실험에서 로봇은 알려지지 않은 관절 구조 객체를 자율적으로 여는 데 75%의 성공률을 달성했습니다.

From refrigerators to kitchen drawers, humans interact with articulated objects effortlessly every day while completing household chores. For automating these tasks, service robots must be capable of manipulating arbitrary articulated objects. Recent deep learning methods have been shown to predict valuable priors on the affordance of articulated objects from vision. In contrast, many other works estimate object articulations by observing the articulation motion, but this requires the robot to already be capable of manipulating the object. In this article, we propose a novel approach combining these methods by using a factor graph for online estimation of articulation which fuses learned visual priors and proprioceptive sensing during interaction into an analytical model of articulation based on Screw Theory. With our method, a robotic system makes an initial prediction of articulation from vision before touching the object, and then quickly updates the estimate from kinematic and force sensing during manipulation. We evaluate our method extensively in both simulations and real-world robotic manipulation experiments. We demonstrate several closed-loop estimation and manipulation experiments in which the robot was capable of opening previously unseen drawers. In real hardware experiments, the robot achieved a 75% success rate for autonomous opening of unknown articulated objects.