TTT-Parkour: 지각 로봇 파쿠르를 위한 빠른 테스트 시간 학습

TTT-Parkour: Rapid Test-Time Training for Perceptive Robot Parkour

복잡하고 예측 불가능한 지형에서 높은 수준의 동적 휴머노이드 파쿠르를 달성하는 것은 로봇 공학 분야의 과제입니다. 일반적인 이동 정책은 다양한 지형 분포에서 어느 정도의 성능을 보이지만, 임의적이고 매우 어려운 환경에서는 어려움을 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해, 우리는 새로운 지형에서 빠른 테스트 시간 학습(TTT)을 활용하는 실-시뮬레이션-실 프레임워크를 제안합니다. 이를 통해 로봇이 극도로 어려운 지형을 통과하는 능력을 크게 향상시킬 수 있습니다. 우리는 두 단계로 구성된 엔드투엔드 학습 패러다임을 채택합니다. 먼저, 정책은 다양한 방식으로 생성된 지형에서 사전 훈련을 받고, 그 다음에는 실제 환경에서 캡처한 데이터를 기반으로 재구성된 고품질 메시 데이터를 사용하여 빠르게 미세 조정합니다. 특히, 우리는 RGB-D 입력을 사용하여 빠르고 고품질의 지오메트리 재구성 파이프라인을 개발하여 테스트 시간 학습 중에 속도와 품질을 모두 보장합니다. 우리는 TTT-Parkour가 인간형 로봇이 경사면, 말뚝, 상자, 사다리꼴, 좁은 보 등 복잡한 장애물을 극복할 수 있도록 함을 보여줍니다. 캡처, 재구성 및 테스트 시간 학습을 포함한 전체 파이프라인은 대부분의 테스트된 지형에서 10분 미만으로 완료됩니다. 광범위한 실험 결과, 테스트 시간 학습 후 정책은 강력한 제로샷 시뮬레이션-실세계 전환 능력을 보여줍니다.

Achieving highly dynamic humanoid parkour on unseen, complex terrains remains a challenge in robotics. Although general locomotion policies demonstrate capabilities across broad terrain distributions, they often struggle with arbitrary and highly challenging environments. To overcome this limitation, we propose a real-to-sim-to-real framework that leverages rapid test-time training (TTT) on novel terrains, significantly enhancing the robot's capability to traverse extremely difficult geometries. We adopt a two-stage end-to-end learning paradigm: a policy is first pre-trained on diverse procedurally generated terrains, followed by rapid fine-tuning on high-fidelity meshes reconstructed from real-world captures. Specifically, we develop a feed-forward, efficient, and high-fidelity geometry reconstruction pipeline using RGB-D inputs, ensuring both speed and quality during test-time training. We demonstrate that TTT-Parkour empowers humanoid robots to master complex obstacles, including wedges, stakes, boxes, trapezoids, and narrow beams. The whole pipeline of capturing, reconstructing, and test-time training requires less than 10 minutes on most tested terrains. Extensive experiments show that the policy after test-time training exhibits robust zero-shot sim-to-real transfer capability.