인지적 휴머노이드 파쿠르: 모션 매칭을 통한 동적 인간 기술 연계

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching

최근 휴머노이드 로봇의 보행 기술이 다양한 지형에서 안정적인 보행을 가능하게 했지만, 매우 역동적인 인간 움직임의 민첩성과 적응성을 구현하는 것은 여전히 해결해야 할 과제입니다. 특히 복잡한 환경에서의 민첩한 파쿠르는 저수준의 안정성뿐만 아니라 인간과 유사한 움직임 표현, 장기적인 기술 조합, 그리고 인지 기반 의사 결정을 요구합니다. 본 논문에서는 인지적 휴머노이드 파쿠르(PHP)라는 모듈형 프레임워크를 제안합니다. 이 프레임워크를 통해 휴머노이드 로봇이 자율적으로 장거리의, 시각 기반 파쿠르를 수행하며 어려운 장애물 코스를 통과할 수 있습니다. 우리의 접근 방식은 먼저 모션 매칭을 활용하여, 특징 공간에서 최근접 이웃 검색을 통해 재조합된 기본 인간 기술을 장기적인 운동 경로로 구성합니다. 이 프레임워크는 복잡한 기술 체인의 유연한 조합과 부드러운 전환을 가능하게 하며, 동시에 역동적인 인간 움직임의 우아함과 유연성을 유지합니다. 다음으로, 구성된 움직임에 대한 모션 추적 강화 학습(RL) 전문가 정책을 훈련하고, DAgger와 RL을 결합하여 단일의 깊이 기반, 다중 기술 학생 정책으로 증류합니다. 중요한 점은 인지와 기술 조합이 자율적이고 상황 인지적인 의사 결정을 가능하게 한다는 것입니다. 온보드 깊이 센서와 이산적인 2차원 속도 명령만 사용하여 로봇은 다양한 기하학적 형태와 높이의 장애물을 넘어선다, 올라간다, 뛰어넘거나, 굴러서 피할지 여부를 선택하고 실행합니다. 우리는 Unitree G1 휴머노이드 로봇을 사용하여 실제 환경에서 광범위한 실험을 통해 본 프레임워크를 검증했습니다. 이를 통해 로봇 높이의 96%에 해당하는 1.25m 높이의 장애물 등반과 같은 매우 역동적인 파쿠르 기술, 그리고 실시간 장애물 변화에 대한 폐루프 적응을 통해 장거리의 다중 장애물 통과가 가능함을 입증했습니다.

While recent advances in humanoid locomotion have achieved stable walking on varied terrains, capturing the agility and adaptivity of highly dynamic human motions remains an open challenge. In particular, agile parkour in complex environments demands not only low-level robustness, but also human-like motion expressiveness, long-horizon skill composition, and perception-driven decision-making. In this paper, we present Perceptive Humanoid Parkour (PHP), a modular framework that enables humanoid robots to autonomously perform long-horizon, vision-based parkour across challenging obstacle courses. Our approach first leverages motion matching, formulated as nearest-neighbor search in a feature space, to compose retargeted atomic human skills into long-horizon kinematic trajectories. This framework enables the flexible composition and smooth transition of complex skill chains while preserving the elegance and fluidity of dynamic human motions. Next, we train motion-tracking reinforcement learning (RL) expert policies for these composed motions, and distill them into a single depth-based, multi-skill student policy, using a combination of DAgger and RL. Crucially, the combination of perception and skill composition enables autonomous, context-aware decision-making: using only onboard depth sensing and a discrete 2D velocity command, the robot selects and executes whether to step over, climb onto, vault or roll off obstacles of varying geometries and heights. We validate our framework with extensive real-world experiments on a Unitree G1 humanoid robot, demonstrating highly dynamic parkour skills such as climbing tall obstacles up to 1.25m (96% robot height), as well as long-horizon multi-obstacle traversal with closed-loop adaptation to real-time obstacle perturbations.