TWISTED-RL: 인간의 시연 없이 매듭 묶기를 수행하는 계층적 숙련 에이전트

TWISTED-RL: Hierarchical Skilled Agents for Knot-Tying without Human Demonstrations

로봇을 이용한 매듭 묶기는 변형 가능한 물체 간의 복잡한 상호 작용과 엄격한 위상적 제약으로 인해 로봇 공학 분야에서 근본적인 과제입니다. 본 연구에서는 이전 최고 성능을 능가하는 매듭 묶기 프레임워크인 TWISTED-RL을 제시합니다. TWISTED-RL은 단일 매듭 묶기 문제를 관리 가능한 하위 문제로 분해하여 각 하위 문제를 전문 에이전트로 해결합니다. 기존 방식인 TWISTED의 지도 학습을 통해 학습된 단일 단계 역 모델을 다단계 강화 학습 정책으로 대체했으며, 이 정책은 목표 상태가 아닌 추상적인 위상적 동작에 기반합니다. 이러한 변경은 보다 정교한 위상적 상태 전환을 가능하게 하며, 비용이 많이 들고 효과가 없는 데이터 수집 방식을 피하여 다양한 매듭 구성에 대한 더 나은 일반화 성능을 제공합니다. 실험 결과, TWISTED-RL은 기존에 해결하기 어려웠던 더 복잡한 매듭을 해결할 수 있으며, 여기에는 널리 사용되는 Figure-8 매듭과 Overhand 매듭이 포함됩니다. 또한 성공률이 증가하고 계획 시간이 감소하여 TWISTED-RL은 인간의 시연 없이 로봇 매듭 묶기 분야의 새로운 최고 성능을 달성합니다.

Robotic knot-tying represents a fundamental challenge in robotics due to the complex interactions between deformable objects and strict topological constraints. We present TWISTED-RL, a framework that improves upon the previous state-of-the-art in demonstration-free knot-tying (TWISTED), which smartly decomposed a single knot-tying problem into manageable subproblems, each addressed by a specialized agent. Our approach replaces TWISTED's single-step inverse model that was learned via supervised learning with a multi-step Reinforcement Learning policy conditioned on abstract topological actions rather than goal states. This change allows more delicate topological state transitions while avoiding costly and ineffective data collection protocols, thus enabling better generalization across diverse knot configurations. Experimental results demonstrate that TWISTED-RL manages to solve previously unattainable knots of higher complexity, including commonly used knots such as the Figure-8 and the Overhand. Furthermore, the increase in success rates and drop in planning time establishes TWISTED-RL as the new state-of-the-art in robotic knot-tying without human demonstrations.