인간-인간 시범 데이터를 활용한 전신 인간-인형 상호작용 학습

Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations

인형 로봇이 인간과 물리적으로 상호작용하도록 하는 것은 중요한 과제이지만, 고품질의 인간-인형 상호작용(HHoI) 데이터 부족으로 인해 발전이 더디고 있습니다. 풍부한 인간-인간 상호작용(HHI) 데이터를 활용하는 것은 확장 가능한 대안이 될 수 있지만, 먼저 일반적인 재매핑 방식이 필수적인 접촉을 끊어버려 실패한다는 것을 보여줍니다. 우리는 PAIR(Physics-Aware Interaction Retargeting)이라는 접촉 중심의 2단계 파이프라인을 통해 이 문제를 해결하고자 합니다. PAIR은 형태학적 차이에도 불구하고 접촉 의미를 보존하여 물리적으로 일관성 있는 HHoI 데이터를 생성합니다. 그러나 이러한 고품질 데이터는 또 다른 문제를 드러냅니다. 기존의 모방 학습 정책은 단순히 궤적을 모방할 뿐이며, 상호작용에 대한 이해가 부족합니다. 따라서 우리는 D-STAR(Decoupled Spatio-Temporal Action Reasoner)라는 계층적 정책을 제안합니다. D-STAR는 행동 시점과 행동 위치를 분리하여, Diffusion Head를 통해 Phase Attention(언제)과 Multi-Scale Spatial 모듈(어디)을 결합하여 단순한 모방을 넘어 동기화된 전신 동작을 생성합니다. 이러한 추론 과정을 분리함으로써, 우리의 모델은 공간적인 잡음에 영향을 받지 않고도 안정적인 시간 단계를 학습하여, 반응성이 뛰어나고 동기화된 협업을 가능하게 합니다. 우리는 광범위하고 엄격한 시뮬레이션을 통해 우리의 프레임워크를 검증하고, 기존 방식보다 훨씬 우수한 성능 향상을 보여주었으며, HHI 데이터로부터 복잡한 전신 상호작용을 학습하는 완전하고 효과적인 파이프라인을 제시합니다.

Enabling humanoid robots to physically interact with humans is a critical frontier, but progress is hindered by the scarcity of high-quality Human-Humanoid Interaction (HHoI) data. While leveraging abundant Human-Human Interaction (HHI) data presents a scalable alternative, we first demonstrate that standard retargeting fails by breaking the essential contacts. We address this with PAIR (Physics-Aware Interaction Retargeting), a contact-centric, two-stage pipeline that preserves contact semantics across morphology differences to generate physically consistent HHoI data. This high-quality data, however, exposes a second failure: conventional imitation learning policies merely mimic trajectories and lack interactive understanding. We therefore introduce D-STAR (Decoupled Spatio-Temporal Action Reasoner), a hierarchical policy that disentangles when to act from where to act. In D-STAR, Phase Attention (when) and a Multi-Scale Spatial module (where) are fused by the diffusion head to produce synchronized whole-body behaviors beyond mimicry. By decoupling these reasoning streams, our model learns robust temporal phases without being distracted by spatial noise, leading to responsive, synchronized collaboration. We validate our framework through extensive and rigorous simulations, demonstrating significant performance gains over baseline approaches and a complete, effective pipeline for learning complex whole-body interactions from HHI data.