데이터 효율성과 일반화 성능을 위한 시뮬레이션-인간 협력 학습을 통한 로봇 조작

Sim-and-Human Co-training for Data-Efficient and Generalizable Robotic Manipulation

합성 시뮬레이션 데이터와 실제 인간 데이터를 활용하면 로봇 데이터 수집에 소요되는 막대한 비용을 절감할 수 있습니다. 그러나 이러한 데이터는 각각 시뮬레이션-실제 시각적 격차와 인간-로봇 신체적 격차라는 문제점을 가지고 있어, 정책의 실제 환경으로의 일반화 성능을 제한합니다. 본 연구에서는 이러한 데이터 소스 간의 상호 보완적인 관계를 주목했습니다. 시뮬레이션은 로봇이 수행할 수 있는 동작에 대한 정보를 제공하며, 인간 데이터는 시뮬레이션이 렌더링하기 어려운 실제 환경에 대한 정보를 제공합니다. 이러한 점에 착안하여, 본 연구에서는 시뮬레이션 로봇 동작으로부터 운동학적 사전 지식을 추출하고, 실제 인간 관찰로부터 시각적 사전 지식을 동시에 학습하는 공동 학습 프레임워크인 SimHum을 제안합니다. 제안하는 방법은 두 가지 상호 보완적인 사전 지식을 활용하여 실제 환경에서 데이터 효율적이고 일반화된 로봇 조작을 달성합니다. 실험 결과, SimHum은 동일한 데이터 수집 예산 하에서 기준 모델보다 최대 40% 향상된 성능을 보였으며, 단 80개의 실제 데이터만을 사용하여 62.5%의 일반화 성공률을 달성하여, 실제 데이터만 사용한 기준 모델보다 7.1배 더 우수한 성능을 보였습니다. 관련 동영상 및 추가 정보는 프로젝트 웹사이트([https://kaipengfang.github.io/sim-and-human](https://kaipengfang.github.io/sim-and-human))에서 확인할 수 있습니다.

Synthetic simulation data and real-world human data provide scalable alternatives to circumvent the prohibitive costs of robot data collection. However, these sources suffer from the sim-to-real visual gap and the human-to-robot embodiment gap, respectively, which limits the policy's generalization to real-world scenarios. In this work, we identify a natural yet underexplored complementarity between these sources: simulation offers the robot action that human data lacks, while human data provides the real-world observation that simulation struggles to render. Motivated by this insight, we present SimHum, a co-training framework to simultaneously extract kinematic prior from simulated robot actions and visual prior from real-world human observations. Based on the two complementary priors, we achieve data-efficient and generalizable robotic manipulation in real-world tasks. Empirically, SimHum outperforms the baseline by up to $\mathbf{40\%}$ under the same data collection budget, and achieves a $\mathbf{62.5\%}$ OOD success with only 80 real data, outperforming the real only baseline by $7.1\times$. Videos and additional information can be found at \href{https://kaipengfang.github.io/sim-and-human}{project website}.