LadderMan: 인간형 로봇의 인지 기반 사다리 등반 학습

LadderMan: Learning Humanoid Perceptive Ladder Climbing

인간형 로봇은 인간 중심 환경에서 작동할 수 있는 큰 잠재력을 가지고 있지만, 제한적인 발판과 손잡이, 복잡한 전신 조화, 그리고 인식 및 제어 오류에 대한 민감성으로 인해 사다리 등반은 여전히 가장 어려운 과제 중 하나입니다. 본 논문에서는 인간형 로봇이 다양한 사다리를 안정적으로 오르고, 이러한 제한적인 환경에서 조작 작업을 수행할 수 있도록 하는 통합 시스템인 extbf{LadderMan}을 제시합니다. 우리의 등반 정책은 확장 가능한 2단계 학습 파이프라인을 기반으로 하며, 여기서는 하이브리드 모션 추적 기술을 사용하여 단일 참조 동작으로부터 여러 등반 전문가를 학습하고, 하이브리드 모방 학습과 강화 학습을 통해 이러한 전문가를 통합된 깊이 기반 시각-운동 등반 정책으로 변환합니다. 실제 환경에 적용할 수 있도록, 우리는 비전 기초 모델을 활용하여 깊이 인식 측면에서 시뮬레이션과 현실 간의 격차를 해소합니다. 학습된 등반 정책을 바탕으로, 우리는 듀얼 에이전트 방식을 사용하여 별도의 조작 정책을 추가적으로 학습시켜, 원격 제어를 통해 사다리 위에서의 안정적인 조작 작업을 가능하게 합니다. 실험 결과는 LadderMan이 다양한 형태의 사다리에 대해 강력한 등반 능력을 보여주며, 실제 하드웨어로 문제없이 적용될 수 있으며, 어려운 사다리 환경에서도 다양한 조작 작업을 지원한다는 것을 입증합니다. 관련 영상 자료는 https://ladderman-robot.github.io 에서 확인할 수 있습니다.

Humanoid robots hold great promise for operating in human-centered environments, yet ladder climbing remains one of the most challenging tasks due to sparse footholds and handholds, complex whole-body coordination, and sensitivity to perception and control errors. We present \textbf{LadderMan}, a unified system that enables humanoid robots to robustly climb diverse ladders and perform manipulation under such constrained conditions. Our climbing policy is built on a scalable two-stage learning pipeline, where we use hybrid motion tracking to learn multiple climbing experts from a single reference motion, and distill these experts into a unified depth-based visuomotor climbing policy via hybrid imitation and reinforcement learning. To enable real-world deployment, we leverage vision foundation models to bridge the sim-to-real gap in depth perception. Building on the learned climbing policy, we further train a separate manipulation policy using a dual-agent formulation, allowing stable on-ladder manipulation via teleoperation. Experiments demonstrate that LadderMan achieves robust ladder climbing across a wide range of geometries, successfully transfers to real-world hardware in a zero-shot manner, and supports various manipulation tasks under challenging ladder constraints. Video results are available at https://ladderman-robot.github.io .