모양 해석 가능 시각적 자기 모델링: 로봇 기하 구조를 고려한 연속 로봇 제어

Shape-Interpretable Visual Self-Modeling Enables Geometry-Aware Continuum Robot Control

연속 로봇은 높은 유연성과 중복성을 가지고 있어 복잡한 환경에서 안전한 상호 작용에 적합하지만, 연속적인 변형과 비선형 역학은 인지, 모델링 및 제어에 근본적인 어려움을 야기합니다. 기존의 시각 기반 제어 방법은 종종 엔드 투 엔드 학습에 의존하며, 로봇의 기하 구조 또는 환경과의 상호 작용에 대한 명시적인 인지 없이 모양을 조절합니다. 본 연구에서는 로봇 기하 구조를 고려한 제어를 가능하게 하는 연속 로봇을 위한 모양 해석 가능 시각적 자기 모델링 프레임워크를 소개합니다. 로봇의 모양은 여러 각도에서 촬영된 2D 이미지를 사용하여 베지어 곡선 표현으로 인코딩되며, 이를 통해 시각적 정보를 압축되고 물리적으로 의미 있는 모양 공간으로 변환하여 로봇의 3차원 구성을 고유하게 특징짓습니다. 이러한 표현을 기반으로, 신경망 기반 상미분 방정식(Neural ODE)을 사용하여 로봇의 모양과 엔드 이펙터 역학을 데이터로부터 직접 모델링하여, 분석 모델이나 밀집형 바디 마커 없이 하이브리드 모양-위치 제어를 가능하게 합니다. 학습된 모양 공간의 명시적인 기하 구조는 로봇이 자신의 몸과 주변 환경에 대해 추론할 수 있도록 하여, 엔드 이펙터 목표를 유지하면서 장애물 회피 및 자가 동작과 같은 환경 인지적 행동을 지원합니다. 케이블 구동 연속 로봇에 대한 실험 결과, 1.56%의 이미지 해상도 오차 범위 내에서 정확한 모양-위치 조절 및 추적이 가능하며, 로봇 길이의 2% 이내의 엔드 이펙터 오차를 보이고, 제한된 환경에서도 강력한 성능을 보였습니다. 본 연구는 시각적 모양 표현을 2차원 관찰에서 해석 가능한 3차원 자기 모델로 발전시켜, 시각 기반 엔드 투 엔드 제어에 대한 새로운 대안을 제시하고, 연속 로봇의 자율적인 기하 구조 기반 조작 능력을 향상시킵니다.

Continuum robots possess high flexibility and redundancy, making them well suited for safe interaction in complex environments, yet their continuous deformation and nonlinear dynamics pose fundamental challenges to perception, modeling, and control. Existing vision-based control approaches often rely on end-to-end learning, achieving shape regulation without explicit awareness of robot geometry or its interaction with the environment. Here, we introduce a shape-interpretable visual self-modeling framework for continuum robots that enables geometry-aware control. Robot shapes are encoded from multi-view planar images using a Bezier-curve representation, transforming visual observations into a compact and physically meaningful shape space that uniquely characterizes the robot's three-dimensional configuration. Based on this representation, neural ordinary differential equations are employed to self-model both shape and end-effector dynamics directly from data, enabling hybrid shape-position control without analytical models or dense body markers. The explicit geometric structure of the learned shape space allows the robot to reason about its body and surroundings, supporting environment-aware behaviors such as obstacle avoidance and self-motion while maintaining end-effector objectives. Experiments on a cable-driven continuum robot demonstrate accurate shape-position regulation and tracking, with shape errors within 1.56% of image resolution and end-effector errors within 2% of robot length, as well as robust performance in constrained environments. By elevating visual shape representations from two-dimensional observations to an interpretable three-dimensional self-model, this work establishes a principled alternative to vision-based end-to-end control and advances autonomous, geometry-aware manipulation for continuum robots.