다중 에이전트 강화 학습을 이용한 임의 객체 협력 운송을 위한 형태 형성

Shape Formation for the Cooperative Transportation of Arbitrary Objects Using Multi-Agent Reinforcement Learning

협력적인 객체 운송은 산업 현장부터 가정 서비스에 이르기까지 다양한 분야에서 필수적입니다. 일반적인 운송 전략 중 하나는 다수의 로봇 시스템이 객체를 위에 올려 운반하는 것입니다. 이 문제는 일반적으로 세 가지 상호 연결된 하위 문제로 나뉩니다: 형성 제어, 협력 항법 및 충돌 회피. 실제 환경의 객체는 임의의 형태를 가지고 있고 질량 분포가 균일하지 않은 경우가 많아, 안전하게 객체를 지탱할 수 있는 로봇 형성이 필요합니다. 본 연구에서는 이러한 실제 객체의 운송을 위한 패턴 형성 제어 문제를 해결하기 위해 새로운 다중 에이전트 강화 학습 방법을 제안합니다. 제안하는 방법은 다중 로봇 시스템이 스스로 객체 아래에 위치하여 무게를 지탱하고, 형성 과정 동안 장애물을 피하도록 합니다. 다양한 환경과 로봇 수에 대한 실험 결과는 제안하는 방법이 안정적인 균형 형성을 가능하게 하며, 복잡한 기하학적 구조와 불균일한 질량 분포를 가진 객체 및 혼잡한 환경에서도 일반화 성능을 보여준다는 것을 입증합니다.

Cooperative object transportation is essential in numerous domains, including industrial to domestic services. A popular transportation strategy is to carry objects on top of multi-robot systems. The corresponding task is typically solved by decomposing it into three interconnected subproblems: formation control, cooperative navigation, and collision avoidance. A particular challenge posed by real-world objects is their potentially arbitrary shape and non-uniform mass distribution, necessitating robot formations that securely support the object. In this work, we address the challenge of pattern formation control for transporting such real-world objects by proposing a novel multi-agent reinforcement learning approach. Our approach enables a multi-robot system to autonomously position itself underneath an object to support its weight while avoiding obstacles during the formation process. Our evaluations with diverse environments and varying numbers of robots show that our approach leads to policies that reliably produce balanced formations and generalize to cluttered scenes and objects with complex geometry and non-uniform mass distribution.