SILO: 시뮬레이션 기반 루프(Simulation-in-the-Loop)를 활용한 시뮬레이션-실제 전이 기술을 이용한 다단계 케이블 라우팅

SILO: Simulation-in-the-Loop Sim-to-Real Transfer for Multi-Stage Cable Routing

케이블 및 로프와 같은 물체의 복잡한 변형으로 인해 선형 가변 조작은 여전히 어려운 과제입니다. 기존의 데이터 기반 접근 방식, 특히 모방 학습은 특정 환경에서 어느 정도 가능성을 보여주었지만, 일반적으로 특정 작업 및 케이블 유형에 대해 수천 건의 시연이 필요하며, 이는 확장성과 일반화 능력을 제한합니다. 본 연구에서는 GPU 병렬화를 활용하여 선형 가변 거동을 근사하는 다단계 케이블 라우팅을 위한 시뮬레이션-실제 강화 학습(RL) 프레임워크를 소개합니다. 수천 개의 병렬 시뮬레이션을 통해 학습된 정책은 다양한 케이블 기하학적 구조 및 변형 패턴에 대한 일반화 능력을 갖습니다. 시뮬레이션-실제 격차를 해소하기 위해, 우리는 Simulation In the LOop (SILO) 실행 프레임워크, 로컬 RL 정책 및 견고한 케이블 상태 추정을 결합하는 새로운 배포 전략을 제안합니다. 실제 케이블 라우팅 작업에서, 본 연구의 접근 방식은 기존 최고 수준의 학습 방법보다 더 높은 성공률과 2배 빠른 사이클 시간을 달성했습니다. 현재까지 알려진 바로는, 본 연구가 다단계 케이블 라우팅에 대한 RL 정책의 첫 번째 성공적인 시뮬레이션-실제 전이 사례입니다. 관련 동영상 및 추가 시각 자료는 https://silo-cable-routing.github.io/ 에서 확인할 수 있습니다.

Linear-deformable manipulation remains challenging due to the complex deformations of objects such as cables and ropes. Prior data-driven approaches, particularly imitation learning, have shown some promise in narrowly defined settings but typically require thousands of demonstrations for specific tasks and cable types, limiting scalability and generalization. We introduce a sim-to-real reinforcement learning (RL) framework for multi-stage cable routing that leverages GPU-parallelized simulation to approximate linear deformable behaviors. Training across thousands of parallel simulations enables the learned policies to generalize across diverse cable geometries and deformation patterns. To bridge the sim-to-real gap, we propose a novel deployment strategy that combines a Simulation In the LOop (SILO) execution framework, localized RL policies, and robust cable state estimation. On real-world cable routing tasks, our approach achieves higher success rates and 2x reduction in cycle times compared to prior state-of-the-art learning methods. To our knowledge, this is the first successful sim-to-real transfer of RL policies for multi-stage cable routing. Videos and additional visualizations are available at https://silo-cable-routing.github.io/