코-점프: 멀티 에이전트 강화 학습을 이용한 사족 보행 로봇의 협력 점프

Co-jump: Cooperative Jumping with Quadrupedal Robots via Multi-Agent Reinforcement Learning

단일 에이전트의 다족 보행 기술은 놀라운 발전을 이루었지만, 개별 로봇은 여전히 물리적인 작동 능력의 한계에 직면합니다. 이러한 한계를 극복하기 위해, 우리는 코-점프(Co-jump)라는 협력적인 과제를 제시합니다. 이는 두 대의 사족 보행 로봇이 동기화하여 개별 로봇의 능력으로는 불가능한 높이의 점프를 수행하는 방식입니다. 우리는 분산 환경에서 이 과제의 높은 충격 접촉 역학 문제를 해결하며, 명시적인 통신이나 미리 정의된 동작 패턴 없이 동기화를 달성합니다. 우리의 프레임워크는 멀티 에이전트 근사 정책 최적화(MAPPO)를 활용하며, 점진적인 교육 전략을 통해 기계적으로 결합된 시스템에서 발생하는 희소 보상 탐색 문제를 효과적으로 해결합니다. 우리는 시뮬레이션 환경에서 안정적인 성능을 입증했으며, 이를 실제 하드웨어로 성공적으로 이전하여 최대 1.5m 높이의 플랫폼으로 다방향 점프를 수행했습니다. 특히, 한 로봇은 발 끝이 1.1m까지 올라가는 기록을 세웠으며, 이는 독립적인 사족 보행 로봇의 0.45m 점프 높이에 비해 144% 향상된 수치로, 우수한 수직 성능을 보여줍니다. 주목할 만한 점은 이러한 정밀한 조화가 오직 고유 감각 피드백만으로 달성되었다는 것입니다. 이는 제한된 환경에서 통신 없이 협력적인 보행을 가능하게 하는 기반을 마련합니다.

While single-agent legged locomotion has witnessed remarkable progress, individual robots remain fundamentally constrained by physical actuation limits. To transcend these boundaries, we introduce Co-jump, a cooperative task where two quadrupedal robots synchronize to execute jumps far beyond their solo capabilities. We tackle the high-impulse contact dynamics of this task under a decentralized setting, achieving synchronization without explicit communication or pre-specified motion primitives. Our framework leverages Multi-Agent Proximal Policy Optimization (MAPPO) enhanced by a progressive curriculum strategy, which effectively overcomes the sparse-reward exploration challenges inherent in mechanically coupled systems. We demonstrate robust performance in simulation and successful transfer to physical hardware, executing multi-directional jumps onto platforms up to 1.5 m in height. Specifically, one of the robots achieves a foot-end elevation of 1.1 m, which represents a 144% improvement over the 0.45 m jump height of a standalone quadrupedal robot, demonstrating superior vertical performance. Notably, this precise coordination is achieved solely through proprioceptive feedback, establishing a foundation for communication-free collaborative locomotion in constrained environments.