인형 로봇 조작 인터페이스: 로봇 없이 수행된 시연을 활용한 인형 로봇 전체 동작 조작

Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations

현재 인형 로봇 전체 동작 조작 방식은 주로 원격 조작 또는 시각 기반 시뮬레이션-실세계 강화 학습에 의존하며, 이는 하드웨어 제약과 복잡한 보상 설계 문제를 야기합니다. 그 결과, 시연 기반 자율 동작은 제한적이며, 일반적으로 제어된 환경에 국한됩니다. 본 논문에서는 휴머노이드 조작 인터페이스(HuMI)를 제시합니다. HuMI는 다양한 환경에서 다양한 전체 동작 조작 작업을 학습할 수 있는 휴대용이며 효율적인 프레임워크입니다. HuMI는 휴대용 하드웨어를 사용하여 풍부한 전체 동작 정보를 획득함으로써 로봇 없이 데이터를 수집할 수 있습니다. 이 데이터는 계층적 학습 파이프라인을 구동하여 인간의 동작을 숙련되고 실현 가능한 인형 로봇 동작으로 변환합니다. 무릎 꿇기, 웅크리기, 던지기, 걷기 및 양손 조작 등 5가지 전체 동작 작업에 대한 광범위한 실험 결과, HuMI는 원격 조작에 비해 데이터 수집 효율성이 3배 향상되었으며, 새로운 환경에서 70%의 성공률을 달성하는 것을 보여줍니다.

Current approaches for humanoid whole-body manipulation, primarily relying on teleoperation or visual sim-to-real reinforcement learning, are hindered by hardware logistics and complex reward engineering. Consequently, demonstrated autonomous skills remain limited and are typically restricted to controlled environments. In this paper, we present the Humanoid Manipulation Interface (HuMI), a portable and efficient framework for learning diverse whole-body manipulation tasks across various environments. HuMI enables robot-free data collection by capturing rich whole-body motion using portable hardware. This data drives a hierarchical learning pipeline that translates human motions into dexterous and feasible humanoid skills. Extensive experiments across five whole-body tasks--including kneeling, squatting, tossing, walking, and bimanual manipulation--demonstrate that HuMI achieves a 3x increase in data collection efficiency compared to teleoperation and attains a 70% success rate in unseen environments.