InterReal: 인간-물체 상호작용 기술 학습을 위한 통일된 물리 기반 모방 학습 프레임워크

InterReal: A Unified Physics-Based Imitation Framework for Learning Human-Object Interaction Skills

상호작용은 휴머노이드 로봇의 핵심 능력 중 하나입니다. 그러나 대부분의 기존 프레임워크는 상호작용이 없는 전체 몸 제어에 초점을 맞추고 있어 실제 적용에 제한이 있습니다. 본 연구에서는 실제 인간-물체 상호작용(HOI) 제어를 위한 통일된 물리 기반 모방 학습 프레임워크인 InterReal을 개발했습니다. InterReal은 휴머노이드 로봇이 HOI 참조 동작을 추적하도록 지원하여, 미세한 상호작용 기술 학습을 촉진하고 실제 환경에 적용할 수 있도록 합니다. 본 프레임워크 내에서, 먼저 손-물체 접촉 제약 조건을 포함하는 HOI 동작 데이터 증강 방식을 도입하고, 증강된 동작을 사용하여 물체 교란 하에서의 정책 안정성을 향상시킵니다. 둘째, 대규모 보상 설계 문제를 해결하기 위해 자동 보상 학습기를 제안합니다. 중요한 추적 오류 지표에 의해 안내되는 메타 정책은 보상 신호를 저수준 강화 학습 목표에 탐색하고 할당하여, 보다 효과적인 상호작용 정책 학습을 가능하게 합니다. 상자 집기 및 상자 밀기 HOI 작업에 대한 실험 결과, InterReal은 최근의 다른 방법론에 비해 가장 높은 추적 정확도와 작업 성공률을 달성하는 것으로 나타났습니다. 또한, 실제 로봇인 Unitree G1에서 본 프레임워크의 유효성과 견고성을 검증하여, 시뮬레이션 환경을 넘어 실제 환경에서도 효과적으로 작동함을 입증했습니다.

Interaction is one of the core abilities of humanoid robots. However, most existing frameworks focus on non-interactive whole-body control, which limits their practical applicability. In this work, we develop InterReal, a unified physics-based imitation learning framework for Real-world human-object Interaction (HOI) control. InterReal enables humanoid robots to track HOI reference motions, facilitating the learning of fine-grained interactive skills and their deployment in real-world settings. Within this framework, we first introduce a HOI motion data augmentation scheme with hand-object contact constraints, and utilize the augmented motions to improve policy stability under object perturbations. Second, we propose an automatic reward learner to address the challenge of large-scale reward shaping. A meta-policy guided by critical tracking error metrics explores and allocates reward signals to the low-level reinforcement learning objective, which enables more effective learning of interactive policies. Experiments on HOI tasks of box-picking and box-pushing demonstrate that InterReal achieves the best tracking accuracy and the highest task success rate compared to recent baselines. Furthermore, we validate the framework on the real-world robot Unitree G1, which demonstrates its practical effectiveness and robustness beyond simulation.